Nara Dönemi'nde, bin üç yüz yıl önce, İmparator Shōmu'nun isteği üzerine rahip Gyōki, Saihoji tapınağı da bunlardan biri olmak üzere kırk dokuz Hosso Tarikatı tapınağı kurmuştur. Tapınak kurulmadan önce, Asuka Dönemi'nde, aslen Prens Shōtoku villalarından biri olduğu söylenmektedir.
Heian Dönemi'nin başlarında Kōbō Daishi geçici olarak tapınakta yaşamış, ancak Kamakura Dönemi'nde Hōnen tapınağı bir Jōdo Tarikatı tapınağına dönüştürmüştür. 1339 yılında, savaş sonrası yıkımın ortasında, o dönemde Japonya'daki en saygın Zen rahiplerinden biri olan Musō Kokushi, Fujiwara Chikahide'nin (Matsunō Tapınağı'nın baş rahibi) daveti üzerine tapınağı bir Zen tapınağı olarak yeniden canlandırmıştır.
O zamandan beri tapınak, Ashikaga Yoshimitsu ve Yoshimasa da dahil olmak üzere Zazen uygulamasıyla ilgilenen pek çok kişi tarafından ziyaret edilmiştir. Saihoji tapınağının Muromachi Dönemini temsil eden tapınakların prototipi ve ünlü Kinkakuji (Altın Köşk) ve Ginkakuji (Gümüş Köşk) gibi takip edilecek tapınaklar için model olduğu da söylenmektedir.
35,000 metrekarelik bahçe şu anda Japonya'nın Tarihi Alanları ve Manzara Güzelliği Olan Yerleri arasında yer almaktadır ve 1994 yılında UNESCO'nun Dünya Kültür Mirası'na Antik Kyoto'nun Tarihi Anıtı olarak kaydedilmiştir. Bugün, bölgeyi kaplayan güzel yosunlardan dolayı halk arasında Kokedera (Yosun Tapınağı) olarak da bilinmektedir.
