Castelul Aggstein este unul dintre cele mai faimoase castele din Austria și fascinează vizitatorii de toate vârstele. Ruinele legendare ale castelului se află pe o cornișă de stâncă la 300 m deasupra Dunării, care se prăbușește abrupt pe trei laturi. Castelul a fost construit probabil la începutul secolului al XII-lea de Manegold al III-lea de Acchispach (Aggsbach). În 1181 a intrat în posesia familiei Kuenring din Aggsbach-Gansbach. A fost asediat și cucerit în 1230/31 în timpul revoltei conduse de Hadmar al III-lea și vasalii săi împotriva ducelui Frederic al II-lea al Austriei. În controversele legate de succesiunea lui Frederic al II-lea, sau herrscherlosen Zeit ("timp fără conducător"), Kuenring a schimbat poziția de câteva ori. Astfel, Leutold Kuenring a învins nobilimea austriacă în revolta împotriva Ducelui Albert: ulterior, castelul a fost asediat și, la rândul său, cucerit în 1295/96. Ultimul Kuenring, Leutoldo al II-lea, a păstrat castelul din 1348 până în 1355. Ulterior, acesta a căzut în ruină.
În 1429, Ducele Albert al V-lea a atribuit castelul șambelanului său, Jörg (Georg) Scheck von Wald. Albrecht l-a însărcinat să reconstruiască castelul în ruină pentru a asigura trecerea navelor pe Dunăre. În 1438, Scheck von Wald a primit drepturi de taxare pentru navele care urcau pe fluviu. În schimb, el trebuia să întrețină căile de remorcaj de pe care erau trase barjele din amonte. De asemenea, a construit o cabină de taxare pe malul fluviului, care acum servește drept casă forestieră. Cu timpul, a devenit un baron tâlhar, făcând raiduri asupra navelor de pe Dunăre. De aici și porecla sa, "Schreckenwald", (joc de cuvinte cu numele său de familie, Scheck von Wald, care înseamnă "Pădurea terorii"), despre care se spune că i-a fost dată din cauza cruzimii sale față de populație. În 1463, castelul a fost din nou asediat de un alt baron tâlhar, Georg von Stain. Acesta l-a învins pe Scheck von Wald și a preluat castelul ca garanție, deoarece se spune că ducele îi datora bani. În 1476 von Stain a fost alungat de Ulrich Freiherr von Graveneck, care a condus castelul între 1476 și 1477, până când a fost și el forțat să îl predea.
În 1477, ducele Leopoldo al III-lea a achiziționat castelul și l-a ocupat cu chiriași și custozi pentru a opri raidurile. În 1529, castelul a fost ras de pe fața pământului de un grup de turci în timpul primului asediu turcesc al Vienei. Din nou a fost reconstruit și echipat cu portițe pentru piese de artilerie.
În 1606, Anna Freiin von Polheim und Parz, văduva ultimului chiriaș, a cumpărat castelul. După moartea sa, castelul a fost foarte neglijat. În 1685 a fost transferat contelui Ernst Rüdiger von Starhemberg, împreună cu Schloss Schönbühel. Ludwig Josef Gregor von Starhemberg a vândut proprietățile contelui Franz von Beroldingen în 1819. A rămas în posesia lui von Beroldingen până în 1930, când proprietatea Schönbühel, împreună cu ruinele castelului Aggstein, a fost vândută contelui Oswald von Seilern Aspang.
Se spune că Hadmar al III-lea a considerat castelul inexpugnabil. De fapt, nu există nicio dovadă că castelul a fost vreodată luat cu asalt direct cu forța. Doar alte măsuri, cum ar fi foamea de asediu, au dus la cucerirea castelului.
