Während der Nara-Periode, vor dreizehnhundert Jahren, gründete der Priester Gyōki auf Wunsch des Kaisers Shōmu neunundvierzig Tempel der Hosso-Sekte, darunter auch den Saihoji-Tempel. Es heißt, dass der Tempel vor seiner Gründung, in der Asuka-Periode, ursprünglich eine der Villen des Prinzen Shōtoku war.
In der frühen Heian-Periode lebte Kōbō Daishi vorübergehend in dem Tempel, aber in der Kamakura-Periode wurde der Hōnen-Tempel in einen Tempel der Jōdo-Sekte umgewandelt. Im Jahr 1339, inmitten der Nachkriegsverwüstungen, belebte Musō Kokushi, einer der angesehensten Zen-Priester Japans, den Tempel auf Einladung von Fujiwara Chikahide (dem Oberpriester des Matsunō-Schreins) als Zen-Tempel wieder.
Seitdem wurde der Tempel von vielen besucht, die sich für die Praxis des Zazen interessierten, darunter Ashikaga Yoshimitsu und Yoshimasa. Man sagt auch, dass der Saihoji-Tempel der Prototyp für die Tempel der Muromachi-Periode und das Vorbild für nachfolgende Tempel wie den berühmten Kinkakuji (Goldener Pavillon) und Ginkakuji (Silberner Pavillon) war.
Der 35 000 Quadratmeter große Garten gehört heute zu den historischen Stätten und landschaftlichen Schönheiten Japans und wurde 1994 von der UNESCO als historisches Denkmal des alten Kyoto in die Liste des Weltkulturerbes aufgenommen. Aufgrund des wunderschönen Mooses, mit dem das Gelände bedeckt ist, wird er heute auch Kokedera (Moos-Tempel) genannt.
