Kasteel Aggstein is een van de beroemdste kastelen van Oostenrijk en fascineert bezoekers van alle leeftijden. De legendarische kasteelruïne ligt op een rotsrichel 300 m boven de Donau, die aan drie zijden steil naar beneden loopt. Het kasteel werd waarschijnlijk in het begin van de 12e eeuw gebouwd door Manegold III van Acchispach (Aggsbach). In 1181 kwam het in het bezit van de familie Kuenring van Aggsbach-Gansbach. Het werd belegerd en veroverd in 1230/31 tijdens de opstand van Hadmar III en zijn vazallen tegen hertog Frederik II van Oostenrijk. In de controverses over de opvolging van Frederik II, of herrscherlosen Zeit, veranderde de Kuenring enkele malen van positie. Zo versloeg Leutold Kuenring de Oostenrijkse adel in de opstand tegen hertog Albert: vervolgens werd het kasteel belegerd en op zijn beurt veroverd in 1295/96. De laatste Kuenring, Leutoldo II, behield het kasteel van 1348 tot 1355. Later raakte het in verval.
In 1429 wees hertog Albert V het kasteel toe aan zijn kamerheer, Jörg (Georg) Scheck von Wald. Albrecht gaf hem de opdracht het vervallen kasteel te herbouwen om de doorvaart van schepen op de Donau te verzekeren. In 1438 kreeg Scheck von Wald tolrechten voor schepen die de rivier opvoeren. In ruil daarvoor moest hij de jaagpaden onderhouden waarvan de schepen stroomopwaarts werden getrokken. Hij bouwde ook een tolhuis aan de oever van de rivier, dat nu dienst doet als boshuis. Na verloop van tijd werd hij een roofridder die schepen op de Donau overviel. Vandaar zijn bijnaam, "Schreckenwald", (woordspeling op zijn familienaam, Scheck von Wald, wat "woud van terreur" betekent), die hem naar verluidt werd gegeven vanwege zijn wreedheid jegens de bevolking. In 1463 werd het kasteel opnieuw belegerd door een andere roofbaron, Georg von Stain. Hij versloeg Scheck von Wald en nam het kasteel in onderpand, omdat de hertog hem geld schuldig zou zijn. In 1476 werd von Stain verdreven door Ulrich Freiherr von Graveneck, die het kasteel van 1476 tot 1477 regeerde, totdat ook hij gedwongen werd het af te staan.
In 1477 verwierf hertog Leopoldo III het kasteel en bezette het met pachters en bewaarders om de invallen te stoppen. In 1529 werd het kasteel tijdens het eerste Turkse beleg van Wenen door een groep Turken met de grond gelijk gemaakt. Het werd opnieuw herbouwd en voorzien van schietgaten voor artilleriestukken.
In 1606 kocht Anna Freiin von Polheim und Parz, de weduwe van de laatste pachter, het kasteel. Na zijn dood werd het kasteel zwaar verwaarloosd. In 1685 werd het samen met Schloss Schönbühel overgedragen aan graaf Ernst Rüdiger von Starhemberg. Ludwig Josef Gregor von Starhemberg verkocht de eigendommen in 1819 aan graaf Franz von Beroldingen. Het bleef in het bezit van von Beroldingen tot 1930, toen het landgoed Schönbühel, samen met de ruïnes van kasteel Aggstein, werd verkocht aan graaf Oswald von Seilern Aspang.
Hadmar III zou het kasteel als onneembaar hebben beschouwd. In feite is er geen bewijs dat het kasteel ooit rechtstreeks met geweld is bestormd. Alleen andere maatregelen, zoals belegeringshonger, leidden tot de verovering van het kasteel.