В период Нара, тринадцать сотен лет назад, по просьбе императора Сёму священник Гёки основал сорок девять храмов секты Хоссо, и храм Сайходзи был одним из них. Говорят, что до основания храма, в период Асука, он изначально был одной из вилл принца Сётоку.
В начале периода Хэйан в храме временно жил Кобо Дайси, но к периоду Камакура храм был преобразован в храм секты Дзёдо. В 1339 году, на фоне послевоенной разрухи того времени, Мусо Кокуси, один из самых уважаемых дзэнских священников Японии того времени, по приглашению Фудзивара Чикахидэ (главного священника храма Мацуно) возродил его как дзэнский храм.
С тех пор храм посещали многие, кто интересовался практикой дзадзэн, в том числе Асикага Ёсимицу и Ёсимаса. Говорят также, что храм Сайходзи был прототипом храмов, представляющих период Муромати, и образцом для храмов, которым следовали, таких как знаменитые Кинкакудзи (Золотой павильон) и Гинкакудзи (Серебряный павильон).
В настоящее время сад площадью 35 000 кв. м включен в список исторических мест и мест живописной природы Японии, а в 1994 году был зарегистрирован во Всемирном культурном наследии ЮНЕСКО как исторический памятник древнего Киото. Сегодня из-за красивого мха, покрывающего территорию, он также известен как Кокедера (Храм мха).
