Aggstein Kalesi Avusturya'nın en ünlü kalelerinden biridir ve her yaştan ziyaretçiyi büyülemektedir. Efsanevi kale kalıntıları, Tuna Nehri'nin 300 metre yukarısında, üç tarafı uçurum olan bir kaya çıkıntısının üzerindedir. Kale muhtemelen 12. yüzyılın başlarında Acchispach'lı (Aggsbach) Manegold III tarafından inşa edilmiştir. Kale 1181 yılında Aggsbach-Gansbach'lı Kuenring ailesinin eline geçmiştir. Hadmar III ve vasallarının Avusturya Dükü Frederick II'ye karşı başlattığı isyan sırasında 1230/31'de kuşatılmış ve fethedilmiştir. Kuenring, Frederick II'nin halefi ya da herrscherlosen Zeit ("hükümdarsız zaman") konusundaki tartışmalarda birkaç kez pozisyon değiştirdi. Leutold Kuenring, Dük Albert'e karşı ayaklanan Avusturyalı soyluları yenilgiye uğrattı: ardından kale kuşatıldı ve 1295/96'da fethedildi. Son Kuenring, Leutoldo II, kaleyi 1348'den 1355'e kadar elinde tuttu. Daha sonra bakıma muhtaç hale geldi.
1429 yılında Dük V. Albert kaleyi kâhyası Jörg (Georg) Scheck von Wald'a tahsis etti. Albrecht, gemilerin Tuna Nehri'nden geçişini sağlamak için yıkık kaleyi yeniden inşa etmesi için onu görevlendirdi. 1438'de Scheck von Wald nehre giden gemiler için geçiş ücreti hakkı aldı. Karşılığında, nehrin yukarısındaki mavnaların çekildiği römorkör yollarının bakımını yapmak zorunda kaldı. Ayrıca nehir kıyısına, günümüzde orman evi olarak hizmet veren bir gişe kulübesi inşa etti. Zamanla Tuna Nehri'ndeki gemilere baskınlar düzenleyen bir soyguncu baron haline geldi. Halka karşı acımasızlığı nedeniyle kendisine verildiği söylenen "Schreckenwald" (aile adı olan Scheck von Wald'dan esinlenerek "Dehşet Ormanı" anlamına gelmektedir) lakabı da buradan gelmektedir. 1463 yılında kale bir başka soyguncu baron Georg von Stain tarafından tekrar kuşatıldı. Scheck von Wald'ı yenmiş ve Dük'ün kendisine borcu olduğu söylendiği için kaleyi teminat olarak devralmıştır. 1476'da von Stain, 1476'dan 1477'ye kadar kaleyi yöneten Ulrich Freiherr von Graveneck tarafından kovuldu ve o da kaleyi teslim etmek zorunda kaldı.
1477'de dük Leopoldo III kaleyi satın aldı ve akınları durdurmak için kiracılar ve bekçilerle işgal etti. 1529 yılında, Viyana'nın ilk Türk kuşatması sırasında kale bir grup Türk tarafından yerle bir edildi. Bir kez daha yeniden inşa edildi ve toplar için mazgallarla donatıldı.
1606 yılında son kiracının dul eşi Anna Freiin von Polheim und Parz kaleyi satın almıştır. Onun ölümünden sonra kale kötü bir şekilde ihmal edildi. 1685 yılında Schloss Schönbühel ile birlikte Kont Ernst Rüdiger von Starhemberg'e devredilmiştir. Ludwig Josef Gregor von Starhemberg 1819 yılında mülkleri Kont Franz von Beroldingen'e satmıştır. Schönbühel arazisi, Aggstein Kalesi'nin kalıntılarıyla birlikte Kont Oswald von Seilern Aspang'a satıldığı 1930 yılına kadar von Beroldingen'in mülkiyetinde kaldı.
Hadmar III'ün kaleyi zaptedilemez olarak gördüğü söylenmektedir. Aslında kaleye doğrudan güç kullanılarak hücum edildiğine dair hiçbir kanıt yoktur. Sadece kuşatma açlığı gibi diğer önlemler kalenin fethine yol açmıştır.