Čudovit dvorec Saue je eden najboljših primerov estonske zgodnje klasicistične arhitekture. Prvi znani lastnik dvorca Saue je bil Remmert von Scharenberg iz Vestfaala, ki je od Danske kraljice Margarete dobil pravico do naložbe. Preden se je preselil v Saue, je bil bodoči lastnik graščine sodni izvršitelj Narve v letih 1528 - 1532 in je bil v letih 1534 - 1549 na položaju v poveljstvu Talina. Poleg svojega premoženja v državi je imel v lasti tudi več hiš v mestu Talin. Pokopan je bil v cerkvi svetega Nikolaja (Niguliste) leta 1549.
Dvorec je leta 1774 pridobil Friedrich von Fersen. Sedanja graščina skupaj s skednjem in kočijo, obokano okoli njenega sprednjega trga, je bila končana leta 1792. Zaradi hipotekarne listine leta 1792 se je bil von Fersen prisiljen odpovedati posesti graščine lastniku graščine Saku, princu Friedrichu von Rehnbinderju in njegovi ženi princesi Gertrud. Novi lastniki so se preselili in leta 1794 se jim je rodil drugi sin Saue, pa tudi njihovi naslednji otroci. Tudi ko so imeli otroci v Sakuju zgrajeno novo glavno stavbo v Sankt Peterburgu, je stari par raje ostal v Saueju.
Po osamosvojitveni vojni leta 1918, ko so Straelborns odšli v Nemčijo in dvorec prodali Republiki Estoniji. Republika ga je skupaj s 50 hektarji zemlje dala junaku osamosvojitvene vojne Johannesu Ermu. Na žalost je bilo njegovo življenje kratko in od leta 1925 je bil dvorec prepuščen ženi in družini.
Med rusko okupacijo je dvorec večkrat zamenjal stanovalce. Deloval je kot dom za ostarele, bolnišnica za kronično bolne, strojna in traktorska postaja, urad estonske kmetijske mehanizacije, vrtec, mestni svet Saue ter pisarniški in proizvodni prostori podjetja SAUREM, ki pripada mestnemu svetu Saue. Leta 1995 je bil dvorec vrnjen hčerki Johannesa Erma, Missis Elga Viilup, ki ga je nato prodala družini Kriisa.
