Krásny komplex Saue Manor je jedným z najlepších príkladov estónskej ranej klasicistickej architektúry. Prvým známym majiteľom panstva Saue bol Remmert von Scharenberg z Westfaalu, ktorý získal právo na investíciu od dánskej kráľovnej Margaréty. Pred presťahovaním do Saue bol budúcim majiteľom kaštieľa súdny exekútor Narvy v rokoch 1528-1532 a v rokoch 1534 - 1549 zastával pozíciu v tallinskom komande. Okrem svojho majetku v krajine vlastnil aj niekoľko domov v meste Tallinn. Bol pochovaný v kostole svätého Mikuláša (Niguliste) v roku 1549.
Kaštieľ získal Friedrich von Fersen v roku 1774. Súčasný kaštieľ spolu so stodolou a autokarovým domom klenutým okolo jeho predného námestia bol dokončený v roku 1792. Kvôli hypotekárnej listine v roku 1792 bol von Fersen nútený vzdať sa vlastníctva panstva majiteľovi panstva Saku, princ Friedrich von Rehnbinder a jeho manželka princezná Gertrud. Noví majitelia sa nasťahovali a v roku 1794 sa im narodil druhý syn v Saue, ako aj ďalšie deti. Aj keď mali deti v Saku postavenú novú hlavnú budovu v Petrohradskom štýle, starý pár radšej zostal v Saue.
Po vojne za nezávislosť v roku 1918, keď Straelborns odišiel do Nemecka a predal panstvo Estónskej republike. Republika ju dala spolu s 50 hektármi pôdy hrdinovi vojny za nezávislosť Johannesovi Ermovi. Bohužiaľ, jeho život bol krátky a od roku 1925 bolo panstvo ponechané na jeho manželku a rodinu.
Počas ruskej okupácie kaštieľ niekoľkokrát zmenil obyvateľov. Fungoval ako domov pre starších ľudí, nemocnica pre chronicky chorých, stanica strojov a traktorov, kancelária estónskych poľnohospodárskych strojov, materská škola, mestská rada v Saue a kancelárske a výrobné miestnosti firmy SAUREM, patriace do mestskej rady v Saue. V roku 1995 bolo panstvo vrátené dcére Johannesa Erma, Missis Elga Viilup, ktorá ho následne predala rodine Kriisa.
Top of the World