A gyönyörű Saue Manor komplexum az észt korai klasszicista építészet egyik legjobb példája. A Saue-kastély első ismert tulajdonosa az volt Remmert von Scharenberg tól től Westfaal, aki a dán Margit királynőtől kapott befektetési jogot. Mielőtt Saue-ba költözött, a leendő kastély tulajdonosa Narva végrehajtója volt 1528-1532 - ben, 1534-1549 - ben pedig Tallinn parancsnokságában töltött be tisztséget. Az országban lévő vagyonán kívül több ház is volt Tallinn városában. Ben temették el Szent Miklós (Niguliste) templom 1549-ben.
A kastélyt Friedrich von Fersen szerezte meg 1774-ben. A jelenlegi Udvarház az istállóval és a főtere körül ívelő kocsiszekrénnyel együtt 1792-ben készült el. 1792-ben egy jelzáloglevél miatt von Fersen kénytelen volt lemondani a birtok birtoklásáról a Saku-kastély tulajdonosának, Friedrich von Rehnbinder hercegnek és feleségének, Gertrud hercegnőnek. Az új tulajdonosok beköltöztek, és 1794-ben Saue-ban született második fiuk, valamint a következő gyermekeik. Még akkor is, amikor a gyerekek új Szentpétervári stílusú főépületet építettek Sakuban, az idős házaspár inkább Saue-ban maradt.
Az 1918-as függetlenségi háború után, amikor a Straelbornok Németországba távoztak, és eladták a kastélyt az Észt Köztársaságnak. A köztársaság 50 hektár földdel együtt adta a függetlenségi háború hősének, Johannes Ermnek. Sajnálatos módon élete rövid volt, és 1925-től a birtokot a feleségére és a családjára hagyta.
Az orosz megszállás alatt a kastély többször cserélt lakókat. Idős emberek otthonaként, krónikus betegek kórházaként, gép-és traktorállomásként, Észt mezőgazdasági gépek irodájaként, óvodaként, Saue városi tanácsaként, valamint a Saue városi Tanácshoz tartozó saurem cég irodájaként és termelési helyiségeként működött. 1995-ben a kastélyt Johannes Erm lányának, Missis Elga Viilupnak adták vissza, aki viszont eladta a Kriisa családnak.
