Durante el Periodo Nara, hace mil trescientos años, a petición del Emperador Shōmu, el sacerdote Gyōki fundó cuarenta y nueve templos de la Secta Hosso, siendo el templo Saihoji uno de ellos. Se dice que antes de la fundación del templo, durante el Periodo Asuka, fue originalmente una de las villas del Príncipe Shōtoku.
A principios del Periodo Heian, Kōbō Daishi vivió temporalmente en el templo, pero para el Periodo Kamakura, Hōnen había hecho su conversión a un templo de la Secta Jōdo. En 1339, en medio de la devastación de la posguerra de la época, Musō Kokushi, uno de los sacerdotes zen más respetados de Japón en ese momento, lo revivió como templo zen, por invitación de Fujiwara Chikahide (el sacerdote principal del santuario de Matsunō).
Desde entonces, el templo ha sido visitado por muchos interesados en practicar Zazen, entre ellos Ashikaga Yoshimitsu y Yoshimasa. También se dice que el templo Saihoji fue el prototipo de los templos representativos del Periodo Muromachi y el modelo a seguir por templos como los famosos Kinkakuji (Pabellón Dorado) y Ginkakuji (Pabellón Plateado).
El jardín, de 35.000 metros cuadrados, figura actualmente en la lista de Lugares Históricos y Lugares de Belleza Escénica de Japón y fue inscrito en 1994 en el Patrimonio Cultural de la Humanidad de la UNESCO como Monumento Histórico del antiguo Kioto. En la actualidad, debido al hermoso musgo que cubre la zona, también se conoce popularmente como Kokedera (Templo del Musgo).
