Dvorac Aggstein jedan je od najpoznatijih dvoraca u Austriji i fascinira posjetitelje svih uzrasta. Legendarne ruševine zamka nalaze se na ivici stene 300 m iznad Dunava, koji se strmoglavo spušta sa tri strane.Dvorac je vjerovatno početkom 12. vijeka sagradio Manegold III od Acchispach-a (Aggsbach). Godine 1181. dolazi u posjed porodice Kuenring iz Aggsbach-Gansbacha. Opkoljen je i osvojen 1230/31. godine tokom pobune koju su predvodili Hadmar III i njegovi vazali protiv vojvode Fridrika II od Austrije. U kontroverzama oko sukcesije Fridrika II, ili herrscherlosen Zeit („vreme bez vladara“), Kuenring je nekoliko puta promenio poziciju. Leutold Kuenring je tako porazio austrijsko plemstvo u ustanku protiv vojvode Alberta: kasnije je zamak bio opkoljen i osvojen 1295/96. Posljednji Kuenring, Leutaldo II, držao je zamak od 1348. do 1355. godine. Kasnije je propao.Godine 1429. vojvoda Albert V dodijelio je dvorac svom komorniku Jörgu (Georgu) Scheck von Waldu. Albreht mu je zadužio da obnovi porušeni zamak kako bi osigurao prolaz brodova Dunavom. Godine 1438. Scheck von Wald je dobio pravo na cestarinu za brodove koji idu uz rijeku. Zauzvrat je morao održavati vučne staze sa kojih su izvučene uzvodne barže. Sagradio je i naplatnu kućicu na obali rijeke koja danas služi kao šumska kuća. Vremenom je postao razbojnički baron, pljačkajući brodove na Dunavu. Otuda i njegov nadimak, "Schreckenwald", (igra na njegovom porodičnom imenu, Scheck von Wald, što znači "Šuma terora"), za koji se kaže da mu je dat zbog njegove okrutnosti prema stanovništvu. Godine 1463. dvorac je ponovo opsjedao drugi baron pljačkaš, Georg von Stain. Pobijedio je Schecka von Walda i preuzeo zamak kao zalog, jer mu je vojvoda rekao da mu duguje novac. Godine 1476. fon Stajna je protjerao Ulrich Freiherr von Graveneck koji je vladao zamkom od 1476. do 1477. godine, sve dok i on nije bio prisiljen da ga preda.Godine 1477. vojvoda Leopoldo III je stekao dvorac i zauzeo ga sa zakupcima i kustosima kako bi zaustavio napade. 1529. godine, dvorac je sravnjen sa zemljom od strane grupe Turaka tokom prve turske opsade Beča. Ponovo je obnovljen i opremljen puškarnicama za artiljerijske oruđa.Godine 1606. Anna Freiin von Polheim und Parz, udovica posljednjeg stanara, kupila je dvorac. Nakon njegove smrti, dvorac je bio jako zapušten. Godine 1685. prebačen je na grofa Ernsta Rüdigera von Starhemberga, zajedno sa Schloss Schönbühelom. Ludwig Josef Gregor von Starhemberg je 1819. godine prodao posjed grofu Franzu von Beroldingenu. Ostao je u posjedu von Beroldingena do 1930. godine, kada je posjed Schönbühel, zajedno sa ruševinama dvorca Aggstein, prodat grofu Oswaldu von Seilern Aspangu.Kaže se da je Hadmar III smatrao zamak neosvojivim. U stvari, nema dokaza da je dvorac ikada direktno napadnut silom. Samo druge mjere, poput opsadne gladi, dovele su do osvajanja zamka.