Tijdens de Nara Periode, dertienhonderd jaar geleden, stichtte de priester Gyōki op verzoek van keizer Shōmu negenenveertig tempels van de Hosso Sectie, waarvan de Saihoji tempel er één is. Er wordt gezegd dat voordat de tempel werd opgericht, tijdens de Asuka Periode, het oorspronkelijk een van de villa's van Prins Shōtoku was.
In de vroege Heian Periode woonde Kōbō Daishi tijdelijk in de tempel, maar tegen de Kamakura Periode had Hōnen de tempel omgebouwd tot een tempel van de Jōdo Sectie. In 1339, te midden van de naoorlogse verwoestingen van die tijd, blies Musō Kokushi, een van de meest gerespecteerde Zen priesters in Japan in die tijd, de tempel op uitnodiging van Fujiwara Chikahide (de hoofdpriester van Matsunō Shrine) nieuw leven in als Zen tempel.
Sindsdien is de tempel bezocht door velen die geïnteresseerd waren in het beoefenen van Zazen, waaronder Ashikaga Yoshimitsu en Yoshimasa. Er wordt ook gezegd dat de Saihoji tempel het prototype was van tempels die representatief waren voor de Muromachi Periode en het model voor tempels om te volgen, zoals het beroemde Kinkakuji (Gouden Paviljoen) en Ginkakuji (Zilveren Paviljoen).
De 35.000 vierkante meter grote tuin staat momenteel op de lijst van Historische plaatsen en plaatsen met landschappelijke schoonheid van Japan en werd in 1994 geregistreerd bij het Wereld Cultureel Erfgoed van de UNESCO als Historisch Monument van het oude Kyoto. Vanwege het prachtige mos dat het gebied bedekt, wordt het tegenwoordig in de volksmond ook wel de Kokedera (Mos Tempel) genoemd.
