Қасри Аггштейн яке аз қалъаҳои машҳури Австрия буда, меҳмонони ҳама синну солҳоро мафтун мекунад. Харобаҳои қалъаи афсонавӣ дар болои санги 300 метр аз дарёи Дунай ҷойгиранд, ки аз се тараф ба таври шадид фурӯ меравад.Эҳтимол, қалъа дар аввали асри 12 аз ҷониби Манегольд III аз Аккиспах (Аггсбах) сохта шудааст. Дар соли 1181 он ба ихтиёри оилаи Куенринги Аггсбах-Гансбах гузашт. Солҳои 1230/31 дар ҷараёни шӯриши Ҳадмари III ва тобеони ӯ бар зидди герцоги Фредерики II Австрия муҳосира ва забт карда шуд. Дар баҳсҳо дар бораи вориси Фредерик II ё herrscherlosen Zeit ("вақти бе ҳоким"), Куэнринг чанд маротиба мавқеъро иваз кард. Ҳамин тариқ, Лейтольд Куенринг ашрофони Австрияро дар шӯриши зидди герцоги Альбер шикаст дод: баъдан қалъа муҳосира карда шуд ва дар навбати худ дар солҳои 1295/96 забт карда шуд. Охирин Куэнринг, Лейтолдо II, қалъаро аз соли 1348 то 1355 нигоҳ дошт. Он баъдтар хароб шуд.Дар соли 1429 Герцог Алберт V қалъаро ба муҳофизи худ Йорг (Георг) Шек фон Валд таъин кард. Альбрехт ба ӯ супориш дод, ки қалъаи харобшударо аз нав созад, то дар Дунай гузаштани киштиҳоро таъмин кунад. Дар соли 1438 Шек фон Валд ҳуқуқи пулакӣ барои киштиҳое, ки ба болои дарё мебароянд, гирифт. Ба ивази ин, ӯ маҷбур шуд, ки роҳҳоеро нигоҳ дошт, ки аз онҳо баржаҳои болооб кашида мешуданд. Вай инчунин дар соҳили дарё як нуқтаи пулакӣ сохт, ки ҳоло ҳамчун хонаи ҷангал хизмат мекунад. Бо мурури замон вай барон горатгар шуда, ба киштихои дарьёи Дунай рейд мекард. Аз ин ҷост, ки лақаби ӯ "Шрекенвальд" (бо номи хонаводагии ӯ Шек фон Валд, маънояш "Ҷангали даҳшат" аст), ки гуфта мешавад, ба сабаби бераҳмӣ нисбат ба аҳолӣ ба ӯ дода шудааст. Дар соли 1463 қалъаро боз як барон ғоратгар Георг фон Стейн муҳосира кард. Вай Шек фон Валдро мағлуб кард ва қалъаро ҳамчун гарав гирифт, зеро гуфта мешуд, ки герцог аз ӯ қарздор аст. Дар соли 1476 фон Стейн аз ҷониби Улрих Фрейхер фон Гревенек, ки қалъаро аз соли 1476 то 1477 ҳукмронӣ мекард, аз он хориҷ карда шуд, то он даме, ки ӯ низ маҷбур шуд, ки онро таслим кунад.Дар соли 1477 герцог Леополдо III қалъаро ба даст овард ва онро бо иҷорагирон ва нигаҳбонон ишғол кард, то ҳамлаҳоро қатъ кунад. Дар соли 1529 қалъа аз ҷониби як гурӯҳи туркҳо ҳангоми муҳосираи аввалини туркҳои Вена ба хок яксон карда шуд. Он бори дигар аз нав сохта, бо луқмаҳо барои тупҳои артиллерӣ муҷаҳҳаз карда шуд.Дар соли 1606 Анна Фрейин фон Полхайм унд Парз, бевазани охирин иҷорагир, қалъаро харид. Пас аз марги ӯ, қалъа хеле беэътиноӣ карда шуд. Дар соли 1685 он ба граф Эрнст Рюдигер фон Стархемберг ҳамроҳ бо Шлос Шёнбюхел дода шуд. Людвиг Йозеф Грегор фон Стархемберг амволи ғайриманқулро ба граф Франц фон Беролдинген дар соли 1819 фурӯхт. Он то соли 1930 дар ихтиёри фон Беролдинген боқӣ монд, вақте ки амволи Шенбюхел якҷоя бо харобаҳои қалъаи Агштейн ба граф Освальд Аспанг фон Сеил фурӯхта шуд.Гуфта мешавад, ки Ҳадмари III қалъаро ғайриимкон медонист. Дар асл, ҳеҷ далеле вуҷуд надорад, ки қалъа ягон бор мустақиман бо зӯр зада шуда бошад. Танҳо чораҳои дигар, ба монанди гуруснагии муҳосира, боиси забт кардани қалъа гардид.