Nara-perioodil, kolmteistsada aastat tagasi, asutas preester Gyōki keiser Shōmu palvel nelikümmend üheksa Hosso sekti templit, millest üks oli Saihoji tempel. Räägitakse, et enne templi rajamist, Asuka perioodil, oli see algselt üks prints Shōtoku villadest.
Heiani perioodi alguses elas templis ajutiselt Kōbō Daishi, kuid Kamakura perioodiks oli Hōnen teinud selle ümberkujundamise Jōdo sekti templiks. 1339. aastal, keset sõjajärgset laastamist, taaselustas Musō Kokushi, üks tolleaegse Jaapani kõige lugupeetud zen-preestreid, selle Fujiwara Chikahide (Matsunō pühamu ülempreester) kutsel zen-templiks.
Sellest ajast alates on templit külastanud paljud zazeni harrastamisest huvitatud isikud, sealhulgas Ashikaga Yoshimitsu ja Yoshimasa. Samuti öeldakse, et Saihoji tempel oli Muromachi perioodi esindavate templite prototüübiks ja eeskujuks templitele, millele järgnesid näiteks kuulsad Kinkakuji (Kuldne paviljon) ja Ginkakuji (Hõbepaviljon).
35 000 ruutmeetri suurune aed on praegu kantud Jaapani ajalooliste paikade ja looduskaunite paikade nimekirja ning 1994. aastal registreeriti UNESCO maailmakultuuripärandi nimistusse kui Vana Kyoto ajalooline mälestusmärk. Tänapäeval tuntakse seda ala katva kauni sambla tõttu ka rahva seas Kokedera (samblatempel) nime all.
