Istana Aggstein adalah salah satu istana yang paling terkenal di Austria dan menarik perhatian pengunjung dari semua peringkat umur. Runtuhan istana yang lagenda berada di tebing batu 300 m di atas Danube, yang jatuh dengan mendadak pada tiga sisi.Istana ini mungkin dibina pada awal abad ke-12 oleh Manegold III dari Acchispach (Aggsbach). Pada tahun 1181 ia menjadi milik keluarga Kuenring Aggsbach-Gansbach. Ia telah dikepung dan ditakluki pada 1230/31 semasa pemberontakan yang dipimpin oleh Hadmar III dan pengikutnya terhadap Duke Frederick II dari Austria. Dalam kontroversi mengenai penggantian Frederick II, atau herrscherlosen Zeit ("masa tanpa pembaris"), Kuenring menukar kedudukan beberapa kali. Leutold Kuenring dengan itu mengalahkan golongan bangsawan Austria dalam pemberontakan terhadap Duke Albert: seterusnya, istana itu dikepung dan seterusnya ditakluki pada 1295/96. Kuenring terakhir, Leutoldo II, mengekalkan istana dari 1348 hingga 1355. Ia kemudiannya rosak.Pada tahun 1429, Duke Albert V menugaskan istana itu kepada ketua dewannya, Jörg (Georg) Scheck von Wald. Albrecht menugaskannya untuk membina semula istana yang hancur untuk memastikan laluan kapal di Danube. Pada tahun 1438 Scheck von Wald menerima hak tol untuk kapal yang mendaki sungai. Sebagai balasan, dia terpaksa mengekalkan laluan tunda dari mana tongkang hulu ditarik. Dia juga membina pondok tol di tebing sungai yang kini berfungsi sebagai rumah hutan. Lama kelamaan, dia menjadi baron perompak, menyerbu kapal di Danube. Oleh itu nama samarannya, "Schreckenwald", (pun pada nama keluarganya, Scheck von Wald, bermaksud "Hutan Keganasan"), yang dikatakan telah diberikan kepadanya kerana kekejamannya terhadap penduduk. Pada tahun 1463 istana itu sekali lagi dikepung oleh baron perompak lain, Georg von Stain. Dia mengalahkan Scheck von Wald dan mengambil alih istana sebagai cagaran, kerana Duke dikatakan berhutang kepadanya. Pada 1476 von Stain telah diusir oleh Ulrich Freiherr von Graveneck yang memerintah istana dari 1476 hingga 1477, sehingga dia juga terpaksa menyerahkannya.Pada tahun 1477 duke Leopoldo III memperoleh istana dan mendudukinya dengan penyewa dan penjaga untuk menghentikan serbuan. Pada tahun 1529, istana itu dihancurkan ke tanah oleh sekumpulan orang Turki semasa pengepungan Turki pertama di Vienna. Sekali lagi ia telah dibina semula dan dilengkapi dengan celah untuk serpihan artileri.Pada tahun 1606 Anna Freiin von Polheim und Parz, balu penyewa terakhir, membeli istana itu. Selepas kematiannya, istana itu diabaikan dengan teruk. Pada tahun 1685 ia telah dipindahkan ke Count Ernst Rüdiger von Starhemberg, bersama-sama dengan Schloss Schönbühel. Ludwig Josef Gregor von Starhemberg menjual hartanah itu kepada Count Franz von Beroldingen pada tahun 1819. Ia kekal dalam milikan von Beroldingen sehingga 1930, apabila ladang Schönbühel, bersama-sama dengan runtuhan Istana Aggstein, telah dijual kepada Count Oswald von Seilern Aspang.Hadmar III dikatakan menganggap istana itu tidak dapat ditembusi. Malah, tiada bukti bahawa istana itu pernah diserang secara langsung dengan kekerasan. Hanya langkah-langkah lain, seperti kelaparan pengepungan, membawa kepada penaklukan istana.