Замъкът Агщайн е един от най-известните замъци в Австрия и очарова посетители от всички възрасти. Легендарните руини на замъка са разположени на скален перваз на 300 м над Дунав, който се спуска стръмно от три страни. Замъкът вероятно е построен в началото на XII в. от Манеголд III от Акшипах (Агсбах). През 1181 г. той преминава във владение на фамилията Куенринг от Агсбах-Гансбах. Замъкът е обсаден и превзет през 1230/31 г. по време на въстанието, водено от Хадмар III и неговите васали срещу херцог Фридрих II Австрийски. В споровете за наследяването на Фридрих II, или herrscherlosen Zeit ("време без владетел"), Kuenring на няколко пъти сменят позицията си. Така Леутолд Куенринг побеждава австрийската аристокрация в бунта срещу херцог Алберт: впоследствие замъкът е обсаден и на свой ред превзет през 1295/96 г. Последният Куенринг, Леутолдо II, държи замъка от 1348 до 1355 г. По-късно замъкът запустява.
През 1429 г. херцог Алберт V възлага замъка на своя камерхер, Йорг (Георг) Шек фон Валд. Албрехт му възлага да възстанови разрушения замък, за да осигури преминаването на кораби по Дунав. През 1438 г. Шек фон Валд получава правото да събира такси за корабите, които се движат по реката. В замяна на това той трябвало да поддържа буксирните пътища, от които се изтегляли баржите нагоре по течението. Той построил и пункт за събиране на такси на брега на реката, който сега служи като горска къща. С течение на времето той се превръща в барон-разбойник, който напада кораби по Дунав. Оттук идва и прозвището му "Шрекенвалд" (игра на думи с фамилното му име Шек фон Валд, което означава "Гората на ужаса"), за което се твърди, че му е дадено заради жестокостта му към населението. През 1463 г. замъкът отново е обсаден от друг разбойнически барон - Георг фон Щайн. Той побеждава Шек фон Валд и взема замъка в залог, тъй като се твърди, че херцогът му дължи пари. През 1476 г. фон Щайн е прогонен от Улрих Фрайхер фон Гравенек, който управлява замъка от 1476 до 1477 г., докато и той не е принуден да го предаде.
През 1477 г. херцог Леополдо III придобива замъка и го окупира с наематели и попечители, за да спре набезите. През 1529 г. замъкът е изравнен със земята от група турци по време на първата турска обсада на Виена. Отново е възстановен и оборудван с вратички за артилерийски оръдия.
През 1606 г. Анна Фрейн фон Полхайм и Парц, вдовица на последния наемател, купува замъка. След смъртта ѝ замъкът е силно занемарен. През 1685 г. той е прехвърлен на граф Ернст Рюдигер фон Щархемберг заедно със замъка Шьонбюел. През 1819 г. Лудвиг Йозеф Грегор фон Щархемберг продава имотите на граф Франц фон Беролдинген. Те остават във владение на фон Беролдинген до 1930 г., когато имението Шьонбюел, заедно с руините на замъка Агщайн, е продадено на граф Освалд фон Зайлерн Аспанг.
Твърди се, че Хадмар III е смятал замъка за непревземаем. Всъщност няма доказателства, че замъкът някога е бил щурмуван директно със сила. До превземането на замъка са довели само други мерки, като обсаден глад.
