Kastil Aggstein adalah salah satu kastil paling terkenal di Austria dan memikat pengunjung dari segala usia. Reruntuhan kastil legendaris ini berada di langkan batu 300 m di atas Danube, yang turun dengan curam di tiga sisi. Kastil ini mungkin dibangun pada awal abad ke-12 oleh Manegold III dari Acchispach (Aggsbach). Pada tahun 1181, kastil ini menjadi milik keluarga Kuenring dari Aggsbach-Gansbach. Kota ini dikepung dan ditaklukkan pada tahun 1230/31 selama pemberontakan yang dipimpin oleh Hadmar III dan bawahannya melawan Adipati Frederick II dari Austria. Dalam kontroversi mengenai suksesi Frederick II, atau herrscherlosen Zeit ("waktu tanpa penguasa"), Kuenring berubah posisi beberapa kali. Leutold Kuenring dengan demikian mengalahkan bangsawan Austria dalam pemberontakan melawan Adipati Albert: kemudian, kastil dikepung dan pada gilirannya ditaklukkan pada tahun 1295/96. Kuenring terakhir, Leutoldo II, mempertahankan kastil dari tahun 1348 hingga 1355. Kastil itu kemudian menjadi rusak.
Pada tahun 1429, Adipati Albert V menugaskan kastil itu kepada kameradnya, Jörg (Georg) Scheck von Wald. Albrecht menugaskannya untuk membangun kembali kastil yang hancur untuk memastikan perjalanan kapal di Danube. Pada tahun 1438 Scheck von Wald menerima hak tol untuk kapal-kapal yang naik ke sungai. Sebagai imbalannya, ia harus memelihara jalur derek tempat tongkang-tongkang hulu ditarik. Dia juga membangun sebuah loket tol di tepi sungai yang sekarang berfungsi sebagai rumah hutan. Seiring berjalannya waktu, ia menjadi baron perampok, merampok kapal-kapal di Danube. Oleh karena itu julukannya, "Schreckenwald", (plesetan dari nama keluarganya, Scheck von Wald, yang berarti "Hutan Teror"), yang konon diberikan kepadanya karena kekejamannya terhadap penduduk. Pada tahun 1463, kastil ini kembali dikepung oleh baron perampok lainnya, Georg von Stain. Dia mengalahkan Scheck von Wald dan mengambil alih kastil sebagai jaminan, karena sang Adipati dikatakan berutang uang kepadanya. Pada tahun 1476 von Stain diusir oleh Ulrich Freiherr von Graveneck yang memerintah kastil dari tahun 1476 hingga 1477, sampai ia juga dipaksa untuk menyerahkannya.
Pada tahun 1477, adipati Leopoldo III mengakuisisi kastil dan mendudukinya dengan penyewa dan penjaga untuk menghentikan penggerebekan. Pada tahun 1529, kastil ini diratakan dengan tanah oleh sekelompok orang Turki selama pengepungan Turki pertama di Wina. Sekali lagi dibangun kembali dan dilengkapi dengan celah untuk artileri.
Pada tahun 1606 Anna Freiin von Polheim und Parz, janda penyewa terakhir, membeli kastil. Setelah kematiannya, kastil itu sangat terabaikan. Pada tahun 1685, kastil itu dipindahkan ke Count Ernst Rüdiger von Starhemberg, bersama dengan Schloss Schönbühel. Ludwig Josef Gregor von Starhemberg menjual properti tersebut kepada Count Franz von Beroldingen pada tahun 1819. Itu tetap menjadi milik von Beroldingen sampai tahun 1930, ketika perkebunan Schönbühel, bersama dengan reruntuhan Kastil Aggstein, dijual kepada Count Oswald von Seilern Aspang.
Hadmar III dikatakan telah menganggap kastil itu tak tertembus. Faktanya, tidak ada bukti bahwa kastil itu pernah diserbu langsung dengan paksa. Hanya tindakan lain, seperti pengepungan kelaparan, yang menyebabkan penaklukan kastil.