Замок Аггштайн є одним з найвідоміших замків Австрії і зачаровує відвідувачів різного віку. Легендарні руїни замку знаходяться на виступі скелі на висоті 300 м над Дунаєм, який стрімко обривається з трьох боків. Замок, ймовірно, був побудований на початку 12 століття Манеґольдом ІІІ з Акчіспаха (Аґґсбаха). У 1181 році перейшов у володіння роду Кюенрінгів з Аггсбаха-Гансбаха. Було обложено і захоплено в 1230/31 рр. під час повстання під проводом Хадмара ІІІ та його васалів проти австрійського герцога Фрідріха ІІ. У суперечках про престолонаслідування Фрідріха II, або "час без правителя" ("herrscherlosen Zeit"), Куенрінг кілька разів змінював свою позицію. Лейтольд Куенрінг, таким чином, переміг австрійську знать у повстанні проти герцога Альберта: згодом замок був взятий в облогу і в свою чергу завойований у 1295/96 роках. Останній Куенрінг, Лейтольдо II, утримував замок з 1348 по 1355 рік. Пізніше він занепав.
У 1429 році герцог Альберт V передав замок своєму камергеру Йоргу (Георгу) Шеку фон Вальду. Альбрехт доручив йому відбудувати зруйнований замок для забезпечення проходу кораблів по Дунаю. У 1438 році Шек фон Вальд отримав право на мито для кораблів, що йшли вгору по річці. Натомість він повинен був утримувати буксирні шляхи, з яких витягували баржі, що йшли вгору за течією. Він також побудував на березі річки платну будку, яка зараз слугує лісовим будиночком. Згодом він став бароном-розбійником, який здійснював набіги на кораблі на Дунаї. Звідси його прізвисько "Шрекенвальд" (каламбур від прізвища Шек фон Вальд, що означає "Ліс жаху"), яке, за переказами, було дано йому через його жорстокість до населення. У 1463 році замок знову взяв в облогу інший барон-розбійник, Георг фон Штайн. Він переміг Шека фон Вальда і заволодів замком як заставою, оскільки герцог, за переказами, був винен йому гроші. У 1476 році фон Штайн був вигнаний Ульріхом Фрайхерром фон Гравенеком, який володів замком з 1476 по 1477 рік, поки і він не був змушений його здати.
У 1477 році замок придбав герцог Леопольдо ІІІ і заселив його орендарями та сторожами, щоб припинити набіги. У 1529 році замок був зруйнований дощенту загоном турків під час першої турецької облоги Відня. Знову був відбудований і обладнаний бійницями для артилерійських знарядь.
У 1606 році замок викупила вдова останнього орендаря Анна Фрайн фон Польхайм унд Парц. Після її смерті замок був сильно занедбаний. У 1685 році разом із замком Шенбюель він перейшов до графа Ернста Рюдігера фон Стархемберга. Людвіг Йозеф Грегор фон Стархемберг у 1819 році продав маєток графу Францу фон Берольдінгену. Він залишався у володінні фон Берольдінгенів до 1930 року, коли маєток Шенбюель разом з руїнами замку Аггштайн був проданий графу Освальду фон Зайлерн Аспангу.
Кажуть, що Хадмар ІІІ вважав замок неприступним. Насправді, немає жодних доказів того, що замок коли-небудь штурмували безпосередньо силою. Лише інші заходи, такі як облоговий голод, призвели до підкорення замку.