A Nara-korszakban, tizenháromszáz évvel ezelőtt, Shōmu császár kérésére Gyōki pap negyvenkilenc Hosso-szekta templomot alapított, köztük a Saihoji templomot. Azt mondják, hogy a templom alapítása előtt, az Asuka-korszakban, eredetileg Shōtoku herceg egyik villája volt.
A korai Heian-korszakban Kōbō Daishi átmenetileg a templomban élt, de a Kamakura-korszakra a Hōnen átváltozott a Jōdo szekta templomává. 1339-ben, a háború utáni pusztítások közepette Musō Kokushi, Japán akkori egyik legtekintélyesebb zen papja, Fujiwara Chikahide (a Matsunō-szentély főpapja) meghívására, zen templomként élesztette újjá.
Azóta a templomot sokan látogatták, akik érdeklődtek a zazen gyakorlása iránt, köztük Ashikaga Yoshimitsu és Yoshimasa. Azt is mondják, hogy a Saihoji templom volt a Muromachi korszakot képviselő templomok prototípusa és a követendő templomok mintája, mint például a híres Kinkakuji (Arany pavilon) és Ginkakuji (Ezüst pavilon).
A 35 000 négyzetméteres kert jelenleg Japán történelmi helyszínei és festői szépségű helyei között szerepel, és 1994-ben az UNESCO Világörökségi listáján az ókori Kiotó történelmi emlékeként szerepel. Ma a területet borító gyönyörű moha miatt a köznyelvben Kokedera (mohatemplom) néven is ismert.
