Durant la période de Nara, il y a treize cents ans, à la demande de l'empereur Shōmu, le prêtre Gyōki a fondé quarante-neuf temples de la secte Hosso, le temple Saihoji étant l'un d'entre eux. On dit qu'avant la fondation du temple, pendant la période Asuka, c'était à l'origine l'une des villas du prince Shōtoku.
Au début de la période Heian, Kōbō Daishi a temporairement vécu dans le temple, mais à la période Kamakura, Hōnen avait fait sa conversion en temple de la secte Jōdo. En 1339, au milieu de la dévastation de l'après-guerre, Musō Kokushi, l'un des prêtres zen les plus respectés du Japon à l'époque, le fit revivre en tant que temple zen, à l'invitation de Fujiwara Chikahide (le prêtre en chef du sanctuaire Matsunō).
Depuis lors, le temple a été visité par de nombreuses personnes intéressées par la pratique du zazen, notamment Ashikaga Yoshimitsu et Yoshimasa. On dit également que le temple Saihoji était le prototype des temples représentatifs de la période Muromachi et le modèle des temples à suivre, comme les célèbres Kinkakuji (Pavillon d'or) et Ginkakuji (Pavillon d'argent).
Le jardin de 35 000 mètres carrés est actuellement classé parmi les sites historiques et les lieux de beauté scénique du Japon et a été inscrit en 1994 au patrimoine culturel mondial de l'UNESCO en tant que monument historique de l'ancienne Kyoto. Aujourd'hui, en raison de la magnifique mousse qui recouvre la zone, il est également connu sous le nom de Kokedera (temple de la mousse).
