I Nara-perioden for tretten hundrede år siden grundlagde præsten Gyōki efter anmodning fra kejser Shōmu niogfyrre templer i Hosso-sekten, hvoraf Saihoji-templet var et af dem. Det siges, at før templet blev grundlagt, i Asuka-perioden, var det oprindeligt en af prins Shōtoku's villaer.
I den tidlige Heian-periode boede Kōbō Daishi midlertidigt i templet, men i Kamakura-perioden havde Hōnen foretaget sin omdannelse til et Jōdo-sekt-tempel. I 1339, midt i tidens ødelæggelser efter krigen, genoplivede Musō Kokushi, en af de mest respekterede zenpræster i Japan på det tidspunkt, det som et zen-tempel på invitation af Fujiwara Chikahide (ypperstepræst for Matsunō-helligdommen).
Siden da er templet blevet besøgt af mange, der var interesserede i at praktisere Zazen, herunder Ashikaga Yoshimitsu og Yoshimasa. Det siges også, at Saihoji-templet var prototypen på templer, der var repræsentative for Muromachi perioden, og modellen for templer, der fulgte efter, såsom de berømte Kinkakuji (den gyldne pavillon) og Ginkakuji (sølvpavillonen).
Den 35.000 kvadratmeter store have er i øjeblikket opført på listen over Japans historiske steder og steder med naturskønhed og blev i 1994 registreret på UNESCO's verdenskulturarvsliste som et historisk monument i det gamle Kyoto. I dag er den på grund af det smukke mos, der dækker området, også populært kendt som Kokedera (mos-templet).
