În timpul perioadei Nara, în urmă cu 1300 de ani, la cererea împăratului Shōmu, preotul Gyōki a fondat 49 de temple ale sectei Hosso, templul Saihoji fiind unul dintre ele. Se spune că, înainte de a fi fondat, în timpul Perioadei Asuka, templul a fost inițial una dintre vilele prințului Shōtoku.
La începutul Perioadei Heian, Kōbō Daishi a locuit temporar în templu, dar până în Perioada Kamakura, Hōnen a făcut convertirea sa într-un templu al Sectei Jōdo. În 1339, pe fondul devastării postbelice din acea perioadă, Musō Kokushi, unul dintre cei mai respectați preoți Zen din Japonia la acea vreme, l-a reînviat ca templu Zen, la invitația lui Fujiwara Chikahide (preotul șef al Sanctuarului Matsunō).
De atunci, templul a fost vizitat de mulți dintre cei interesați să practice Zazen, printre care Ashikaga Yoshimitsu și Yoshimasa. De asemenea, se spune că templul Saihoji a fost prototipul templelor reprezentative pentru perioada Muromachi și modelul pentru templele care au urmat, cum ar fi faimoasele Kinkakuji (Pavilionul de aur) și Ginkakuji (Pavilionul de argint).
Grădina de 35.000 de metri pătrați se află în prezent pe lista siturilor istorice și a locurilor de frumusețe peisagistică din Japonia și a fost înregistrată în 1994 în Patrimoniul Cultural Mondial al UNESCO ca monument istoric al vechiului Kyoto. Astăzi, din cauza mușchiului frumos care acoperă zona, este cunoscută popular și sub numele de Kokedera (Templul de mușchi).
