V obdobju Nara pred trinajststo leti je duhovnik Gyōki na zahtevo cesarja Shōmuja ustanovil devetinštirideset templjev sekte Hosso, med katerimi je bil tudi tempelj Saihoji. Pravijo, da je bil tempelj pred ustanovitvijo, v obdobju Asuka, prvotno ena od vil princa Shōtokuja.
V zgodnjem obdobju Heian je v templju začasno živel Kōbō Daishi, vendar se je do obdobja Kamakura Hōnen spremenil v tempelj sekte Jōdo. Leta 1339, sredi povojnega opustošenja, ga je Musō Kokushi, eden najbolj spoštovanih zenovskih duhovnikov na Japonskem tistega časa, na povabilo Fudžiwara Čikahide (glavnega duhovnika svetišča Matsunō) oživil kot zenovski tempelj.
Od takrat so tempelj obiskovali številni, ki so se zanimali za vadbo zazena, med njimi tudi Ašikaga Jošimitsu in Jošimasa. Pravijo tudi, da je bil tempelj Saihoji prototip templjev, ki so predstavljali obdobje Muromači, in model za templje, ki so jim sledili, kot sta slavna Kinkakuji (Zlati paviljon) in Ginkakuji (Srebrni paviljon).
Vrt na površini 35.000 kvadratnih metrov je trenutno uvrščen na seznam zgodovinskih znamenitosti in krajev slikovitosti Japonske, leta 1994 pa je bil vpisan na Unescov seznam svetovne kulturne dediščine kot zgodovinski spomenik starega Kjota. Zaradi čudovitega mahu, ki prekriva območje, je danes znan tudi pod imenom Kokedera (tempelj iz mahu).
