El castillo de Aggstein es uno de los más famosos de Austria y fascina a visitantes de todas las edades. Las legendarias ruinas del castillo se encuentran en un saliente de roca a 300 m sobre el Danubio, que cae precipitadamente por tres lados. El castillo fue construido probablemente a principios del siglo XII por Manegold III de Acchispach (Aggsbach). En 1181 pasó a manos de la familia Kuenring de Aggsbach-Gansbach. Fue asediada y conquistada en 1230/31 durante la revuelta encabezada por Hadmar III y sus vasallos contra el duque Federico II de Austria. En las controversias sobre la sucesión de Federico II, o herrscherlosen Zeit ("tiempo sin gobernante"), los Kuenring cambiaron varias veces de posición. Así, Leutold Kuenring derrotó a la nobleza austriaca en la revuelta contra el duque Alberto: posteriormente, el castillo fue asediado y a su vez conquistado en 1295/96. El último Kuenring, Leutoldo II, mantuvo el castillo desde 1348 hasta 1355. Más tarde cayó en el abandono.
En 1429, el duque Alberto V asignó el castillo a su chambelán, Jörg (Georg) Scheck von Wald. Alberto le encargó la reconstrucción del castillo en ruinas para asegurar el paso de los barcos por el Danubio. En 1438, Scheck von Wald recibió los derechos de peaje para los barcos que subían por el río. A cambio, tenía que mantener los caminos de sirga de los que tiraban las barcazas río arriba. También construyó una caseta de peaje en la orilla del río que ahora sirve de casa forestal. Con el tiempo, se convirtió en un barón ladrón que asaltaba barcos en el Danubio. De ahí su apodo, "Schreckenwald", (juego de palabras con su apellido, Scheck von Wald, que significa "Bosque del Terror"), que se dice que se le dio por su crueldad con la población. En 1463 el castillo fue asediado de nuevo por otro barón ladrón, Georg von Stain. Derrotó a Scheck von Wald y se apoderó del castillo como garantía, ya que se decía que el duque le debía dinero. En 1476 von Stain fue expulsado por Ulrich Freiherr von Graveneck, que gobernó el castillo de 1476 a 1477, hasta que también se vio obligado a rendirlo.
En 1477 el duque Leopoldo III adquirió el castillo y lo ocupó con inquilinos y custodios para frenar las incursiones. En 1529, el castillo fue arrasado por un grupo de turcos durante el primer asedio turco a Viena. De nuevo fue reconstruido y equipado con troneras para las piezas de artillería.
En 1606 Anna Freiin von Polheim und Parz, la viuda del último inquilino, compró el castillo. Tras su muerte, el castillo quedó muy abandonado. En 1685 fue transferido al conde Ernst Rüdiger von Starhemberg, junto con el castillo de Schönbühel. Ludwig Josef Gregor von Starhemberg vendió las propiedades al conde Franz von Beroldingen en 1819. Permaneció en posesión de von Beroldingen hasta 1930, cuando la finca Schönbühel, junto con las ruinas del castillo de Aggstein, fue vendida al conde Oswald von Seilern Aspang.
Se dice que Hadmar III consideraba el castillo inexpugnable. De hecho, no hay pruebas de que el castillo haya sido asaltado directamente por la fuerza. Sólo otras medidas, como el hambre de asedio, llevaron a la conquista del castillo.