Hrad Aggstein je jedným z najznámejších hradov v Rakúsku a fascinuje návštevníkov všetkých vekových kategórií. Legendárna hradná zrúcanina sa nachádza na skalnom výbežku 300 m nad Dunajom, ktorý sa z troch strán prudko zvažuje. Hrad dal pravdepodobne postaviť Manegold III. z Acchispachu (Aggsbach) začiatkom 12. storočia. V roku 1181 sa dostal do vlastníctva rodu Kuenringovcov z Aggsbachu-Gansbachu. V rokoch 1230/31 bol obliehaný a dobytý počas povstania Hadmara III. a jeho vazalov proti rakúskemu vojvodovi Fridrichovi II. V sporoch o nástupníctvo po Fridrichovi II. alebo herrscherlosen Zeit ("čas bez panovníka") Kuenring niekoľkokrát zmenil pozíciu. Leutold Kuenring tak porazil rakúsku šľachtu v povstaní proti vojvodovi Albertovi: následne bol hrad obliehaný a v rokoch 1295/96 zasa dobytý. Posledný Kuenring, Leutold II., držal hrad v rokoch 1348 až 1355. Neskôr začal chátrať.
V roku 1429 pridelil vojvoda Albert V. hrad svojmu komorníkovi Jörgovi (Georgovi) Scheckovi von Wald. Albrecht ho poveril prestavbou zničeného hradu, aby zabezpečil prejazd lodí po Dunaji. V roku 1438 získal Scheck von Wald právo vyberať mýto za lode plaviace sa po rieke. Na oplátku musel udržiavať vlečné cesty, z ktorých sa ťahali bárky proti prúdu. Na brehu rieky postavil aj mýtnu búdku, ktorá dnes slúži ako lesný dom. Časom sa z neho stal lúpežný barón, ktorý prepadával lode na Dunaji. Odtiaľ pochádza jeho prezývka "Schreckenwald" (slovná hračka na jeho rodinné meno Scheck von Wald, čo znamená "Les hrôzy"), ktorú vraj dostal kvôli svojej krutosti voči obyvateľstvu. V roku 1463 hrad opäť obliehal ďalší lúpežný barón Georg von Stain. Porazil Schecka von Walda a hrad prevzal do zálohy, keďže vojvoda mu vraj dlhoval peniaze. V roku 1476 von Stain vyhnal Ulricha Freiherra von Graveneck, ktorý hrad ovládal v rokoch 1476 až 1477, kým sa ho aj on nemusel vzdať.
V roku 1477 získal hrad vojvoda Leopoldo III. a obsadil ho nájomníkmi a správcami, aby zastavil nájazdy. V roku 1529 hrad zrovnala so zemou skupina Turkov počas prvého tureckého obliehania Viedne. Opäť bol prestavaný a vybavený strieľňami pre delostrelectvo.
V roku 1606 hrad kúpila Anna Freiin von Polheim und Parz, vdova po poslednom nájomcovi. Po jej smrti bol hrad veľmi zanedbaný. V roku 1685 ho spolu so zámkom Schönbühel previedol gróf Ernst Rüdiger von Starhemberg. Ludwig Josef Gregor von Starhemberg v roku 1819 predal majetky grófovi Franzovi von Beroldingen. Vo vlastníctve von Beroldingena zostali až do roku 1930, keď panstvo Schönbühel spolu so zrúcaninou hradu Aggstein predal grófovi Oswaldovi von Seilern Aspang.
Hadmar III. údajne považoval hrad za nedobytný. V skutočnosti neexistujú žiadne dôkazy o tom, že by hrad bol niekedy priamo napadnutý silou. K dobytiu hradu viedli len iné opatrenia, napríklad obliehací hlad.