Ang Aggstein Castle ay isa sa mga pinakasikat na kastilyo sa Austria at nakakaakit ng mga bisita sa lahat ng edad. Ang maalamat na mga guho ng kastilyo ay nasa isang ungos ng bato 300 m sa itaas ng Danube, na mabilis na bumabagsak sa tatlong panig.Ang kastilyo ay malamang na itinayo noong unang bahagi ng ika-12 siglo ni Manegold III ng Acchispach (Aggsbach). Noong 1181 ito ay nakuha ng pamilya Kuenring ng Aggsbach-Gansbach. Ito ay kinubkob at nasakop noong 1230/31 sa panahon ng pag-aalsa na pinamunuan ni Hadmar III at ng kanyang mga basalyo laban kay Duke Frederick II ng Austria. Sa mga kontrobersya sa sunod-sunod na Frederick II, o herrscherlosen Zeit ("panahong walang tagapamahala"), ilang beses na nagbago ang posisyon ng Kuenring. Kaya natalo ni Leutold Kuenring ang Austrian nobility sa pag-aalsa laban kay Duke Albert: pagkatapos, ang kastilyo ay kinubkob at nasakop naman noong 1295/96. Ang huling Kuenring, si Leutoldo II, ay nagpapanatili sa kastilyo mula 1348 hanggang 1355. Nang maglaon ay nasira ito.Noong 1429, itinalaga ni Duke Albert V ang kastilyo sa kanyang chamberlain, si Jörg (Georg) Scheck von Wald. Inatasan siya ni Albrecht na muling itayo ang nasirang kastilyo upang matiyak ang pagdaan ng mga barko sa Danube. Noong 1438, nakatanggap si Scheck von Wald ng mga toll rights para sa mga barkong umaakyat sa ilog. Bilang kapalit, kailangan niyang panatilihin ang mga towpath kung saan hinihila ang mga upstream barge. Nagtayo rin siya ng toll booth sa tabing ilog na ngayon ay nagsisilbing forest house. Sa paglipas ng panahon, siya ay naging baron ng magnanakaw, sumalakay sa mga barko sa Danube. Kaya naman ang kanyang palayaw, "Schreckenwald", (pun on his family name, Scheck von Wald, ibig sabihin ay "Forest of Terror"), na sinasabing ibinigay sa kanya dahil sa kanyang kalupitan sa populasyon. Noong 1463 ang kastilyo ay muling kinubkob ng isa pang baron ng magnanakaw, si Georg von Stain. Tinalo niya si Scheck von Wald at kinuha ang kastilyo bilang collateral, dahil sinasabing may utang sa kanya ang Duke. Noong 1476 si von Stain ay pinatalsik ni Ulrich Freiherr von Graveneck na namuno sa kastilyo mula 1476 hanggang 1477, hanggang sa napilitan din siyang isuko ito.Noong 1477 nakuha ng duke Leopoldo III ang kastilyo at sinakop ito ng mga nangungupahan at tagapag-alaga upang ihinto ang mga pagsalakay. Noong 1529, ang kastilyo ay winasak sa lupa ng isang pangkat ng mga Turko noong unang pagkubkob ng Turko sa Vienna. Muli itong itinayo at nilagyan ng mga butas para sa mga piraso ng artilerya.Noong 1606, binili ni Anna Freiin von Polheim und Parz, ang balo ng huling nangungupahan, ang kastilyo. Pagkatapos ng kanyang kamatayan, ang kastilyo ay labis na napabayaan. Noong 1685, inilipat ito sa Count Ernst Rüdiger von Starhemberg, kasama ang Schloss Schönbühel. Ibinenta ni Ludwig Josef Gregor von Starhemberg ang mga ari-arian kay Count Franz von Beroldingen noong 1819. Nanatili ito sa pag-aari ni von Beroldingen hanggang 1930, nang ang Schönbühel estate, kasama ang mga guho ng Aggstein Castle, ay ibinenta kay Count Oswald von Seilern Aspang.Sinabi ni Hadmar III na ang kastilyo ay hindi magugupo. Sa katunayan, walang katibayan na ang kastilyo ay direktang binagsakan ng puwersa. Tanging ang iba pang mga hakbang, tulad ng pagkubkob ng kagutuman, ay humantong sa pananakop ng kastilyo.