Il Castello di Aggstein è uno dei castelli più famosi dell'Austria e affascina i visitatori di tutte le età. Le leggendarie rovine del castello si trovano su una sporgenza di roccia a 300 m sopra il Danubio, che cade a picco su tre lati. Il castello fu probabilmente costruito all'inizio del XII secolo da Manegold III di Acchispach (Aggsbach). Nel 1181 entrò in possesso della famiglia Kuenring di Aggsbach-Gansbach. Fu assediata e conquistata nel 1230/31 durante la rivolta guidata da Hadmar III e dai suoi vassalli contro il duca Federico II d'Austria. Nelle controversie sulla successione di Federico II, o herrscherlosen Zeit ("tempo senza sovrano"), il Kuenring cambiò posizione alcune volte. Leutold Kuenring sconfisse così la nobiltà austriaca nella rivolta contro il duca Alberto: in seguito, il castello fu assediato e a sua volta conquistato nel 1295/96. L'ultimo Kuenring, Leutoldo II, tenne il castello dal 1348 al 1355. In seguito cadde in rovina.
Nel 1429, il duca Alberto V affidò il castello al suo ciambellano Jörg (Georg) Scheck von Wald. Albrecht lo incaricò di ricostruire il castello in rovina per garantire il passaggio delle navi sul Danubio. Nel 1438 Scheck von Wald ricevette i diritti di pedaggio per le navi che risalivano il fiume. In cambio, doveva provvedere alla manutenzione delle alzaie da cui venivano tirate le chiatte a monte. Costruì anche un casello sulla riva del fiume, che oggi funge da casa forestale. Con il tempo, divenne un barone rapinatore che razziava le navi sul Danubio. Da qui il suo soprannome, "Schreckenwald" (gioco di parole con il nome della sua famiglia, Scheck von Wald, che significa "Foresta del Terrore"), che si dice gli sia stato dato a causa della sua crudeltà nei confronti della popolazione. Nel 1463 il castello fu nuovamente assediato da un altro barone brigante, Georg von Stain. Egli sconfisse Scheck von Wald e si impadronì del castello come garanzia, poiché si diceva che il duca gli dovesse del denaro. Nel 1476 von Stain fu espulso da Ulrich Freiherr von Graveneck, che governò il castello dal 1476 al 1477, finché non fu costretto a cederlo.
Nel 1477 il duca Leopoldo III acquistò il castello e lo occupò con fittavoli e custodi per fermare le scorrerie. Nel 1529, il castello fu raso al suolo da un gruppo di turchi durante il primo assedio turco di Vienna. Ancora una volta fu ricostruito e dotato di feritoie per i pezzi d'artiglieria.
Nel 1606 Anna Freiin von Polheim und Parz, vedova dell'ultimo inquilino, acquistò il castello. Dopo la sua morte, il castello fu gravemente trascurato. Nel 1685 fu trasferito al conte Ernst Rüdiger von Starhemberg, insieme allo Schloss Schönbühel. Ludwig Josef Gregor von Starhemberg vendette le proprietà al conte Franz von Beroldingen nel 1819. Rimase in possesso di von Beroldingen fino al 1930, quando la tenuta di Schönbühel, insieme alle rovine del castello di Aggstein, fu venduta al conte Oswald von Seilern Aspang.
Si dice che Hadmar III considerasse il castello inespugnabile. In realtà, non ci sono prove che il castello sia mai stato preso d'assalto direttamente con la forza. Solo altre misure, come la fame d'assedio, portarono alla conquista del castello.