Zamek Aggstein jest jednym z najbardziej znanych zamków w Austrii i fascynuje turystów w każdym wieku. Legendarne ruiny zamku znajdują się na gzymsie skalnym położonym 300 m nad Dunajem, który z trzech stron opada przepaściście. Zamek został zbudowany prawdopodobnie na początku XII wieku przez Manegolda III z Acchispach (Aggsbach). W 1181 roku przeszedł w posiadanie rodziny Kuenring z Aggsbach-Gansbach. W 1230/31 r. podczas buntu Hadmara III i jego wasali przeciwko księciu austriackiemu Fryderykowi II został oblężony i zdobyty. W kontrowersjach dotyczących sukcesji po Fryderyku II, czyli herrscherlosen Zeit ("czas bez władcy"), Kuenring kilkakrotnie zmieniał pozycję. Leutold Kuenring pokonał w ten sposób austriacką szlachtę w buncie przeciwko księciu Albertowi: następnie zamek został oblężony, a w latach 1295/96 zdobyty. Ostatni Kuenring, Leutoldo II, utrzymywał zamek od 1348 do 1355 roku. Później zamek popadł w ruinę.
W 1429 roku książę Albert V powierzył zamek swojemu szambelanowi Jörgowi (Georgowi) Scheck von Wald. Albrecht zlecił mu odbudowę zrujnowanego zamku w celu zapewnienia przeprawy statków na Dunaju. W 1438 roku Scheck von Wald otrzymał prawo do myta dla statków płynących w górę rzeki. W zamian musiał utrzymywać szlaki holownicze, z których ciągnięto barki w górę rzeki. Wybudował też na brzegu rzeki punkt poboru myta, który obecnie służy jako leśniczówka. Z czasem stał się zbójeckim baronem, napadającym na statki na Dunaju. Stąd jego przydomek "Schreckenwald", (kalambur od nazwiska rodowego Scheck von Wald, czyli "Las Grozy"), który podobno został mu nadany ze względu na okrucieństwo wobec ludności. W 1463 roku zamek został ponownie oblężony przez innego barona rozbójniczego, Georga von Stain. Pokonał on Schecka von Wald i przejął zamek jako zabezpieczenie, gdyż książę był mu ponoć winien pieniądze. W 1476 roku von Stain został wypędzony przez Ulricha Freiherr von Graveneck, który władał zamkiem w latach 1476-1477, aż do momentu, gdy i on został zmuszony do poddania go.
W 1477 roku zamek nabył książę Leopoldo III i obsadził go dzierżawcami i kustoszami, aby powstrzymać najazdy. W 1529 roku zamek został zrównany z ziemią przez grupę Turków podczas pierwszego tureckiego oblężenia Wiednia. Ponownie został odbudowany i wyposażony w otwory strzelnicze dla dział artyleryjskich.
W 1606 roku zamek kupiła Anna Freiin von Polheim und Parz, wdowa po ostatnim dzierżawcy. Po jego śmierci zamek był mocno zaniedbany. W 1685 roku wraz z Schloss Schönbühel przeszedł na własność hrabiego Ernsta Rüdigera von Starhemberg. Ludwig Josef Gregor von Starhemberg w 1819 roku sprzedał dobra hrabiemu Franzowi von Beroldingen. W posiadaniu von Beroldingena pozostawały do 1930 roku, kiedy to majątek Schönbühel wraz z ruinami zamku Aggstein został sprzedany hrabiemu Oswaldowi von Seilern Aspang.
Hadmar III podobno uważał zamek za nie do zdobycia. W rzeczywistości nie ma dowodów na to, że zamek był kiedykolwiek szturmowany bezpośrednio siłą. Dopiero inne środki, takie jak głód oblężniczy, doprowadziły do zdobycia zamku.
