Selama Periode Nara, tiga belas ratus tahun yang lalu, atas permintaan Kaisar Shōmu, pendeta Gyōki mendirikan empat puluh sembilan kuil Sekte Hosso, kuil Saihoji adalah salah satunya. Dikatakan bahwa sebelum kuil ini didirikan, selama Zaman Asuka, kuil ini awalnya adalah salah satu vila Pangeran Shōtoku.
Pada awal Periode Heian, Kōbō Daishi untuk sementara tinggal di kuil, tetapi pada Periode Kamakura, Hōnen telah mengubahnya menjadi kuil Sekte Jōdo. Pada tahun 1339, di tengah-tengah kehancuran pascaperang pada masa itu, Musō Kokushi, salah satu pendeta Zen yang paling dihormati di Jepang pada saat itu, menghidupkannya kembali sebagai kuil Zen, atas undangan Fujiwara Chikahide (pendeta kepala Kuil Matsunō).
Sejak itu, kuil ini telah dikunjungi oleh banyak orang yang tertarik untuk berlatih Zazen, termasuk Ashikaga Yoshimitsu dan Yoshimasa. Dikatakan juga bahwa kuil Saihoji adalah prototipe kuil-kuil yang mewakili Zaman Muromachi dan model untuk kuil-kuil berikutnya, seperti Kinkakuji (Paviliun Emas) dan Ginkakuji (Paviliun Perak) yang terkenal.
Taman seluas 35.000 meter persegi ini saat ini terdaftar di antara Situs Bersejarah dan Tempat Keindahan Pemandangan Jepang dan terdaftar pada tahun 1994 di Warisan Budaya Dunia UNESCO sebagai Monumen Bersejarah Kyoto Kuno. Saat ini, dari lumut indah yang menutupi area tersebut, taman ini juga dikenal sebagai Kokedera (Kuil Lumut).
