Hrad Aggstein je jedním z nejznámějších hradů v Rakousku a fascinuje návštěvníky všech věkových kategorií. Legendární hradní zřícenina se nachází na skalním ostrohu 300 m nad Dunajem, který se na třech stranách prudce svažuje. Hrad byl pravděpodobně postaven na počátku 12. století Manegoldem III. z Acchispachu (Aggsbachu). V roce 1181 přešel do vlastnictví rodu Kuenringů z Aggsbachu-Gansbachu. V letech 1230/31 byl obléhán a dobyt během povstání Hadmara III. a jeho vazalů proti rakouskému vévodovi Fridrichu II. Ve sporech o nástupnictví Fridricha II. neboli herrscherlosen Zeit ("doba bez panovníka") Kuenringové několikrát změnili pozici. Leutold Kuenring tak porazil rakouskou šlechtu v povstání proti vévodovi Albertovi: následně byl hrad obléhán a v letech 1295/96 zase dobyt. Poslední Kuenring, Leutold II., držel hrad v letech 1348-1355. Později zchátral.
V roce 1429 přidělil vévoda Albert V. hrad svému komořímu Jörgovi (Georgovi) Scheckovi von Wald. Albrecht ho pověřil přestavbou zchátralého hradu, aby zajistil průjezd lodí po Dunaji. V roce 1438 získal Scheck von Wald právo vybírat mýtné od lodí plujících po řece. Na oplátku musel udržovat vlečné stezky, z nichž byly proti proudu taženy bárky. Na břehu řeky také postavil mýtnou budku, která dnes slouží jako lesovna. Časem se z něj stal loupeživý baron, který přepadával lodě na Dunaji. Odtud pochází jeho přezdívka "Schreckenwald" (slovní hříčka na jeho rodové jméno Scheck von Wald, což znamená "Les hrůzy"), kterou prý dostal kvůli své krutosti vůči obyvatelstvu. V roce 1463 byl hrad opět obléhán dalším loupeživým baronem Georgem von Stain. Porazil Schecka von Wald a hrad převzal do zástavy, protože mu vévoda údajně dlužil peníze. V roce 1476 von Stain vyhnal Ulricha Freiherra von Graveneck, který hrad ovládal v letech 1476-1477, dokud se ho i on nemusel vzdát.
V roce 1477 získal hrad vévoda Leopoldo III. a obsadil jej nájemci a správci, aby zastavil nájezdy. V roce 1529 byl hrad srovnán se zemí skupinou Turků během prvního tureckého obléhání Vídně. Opět byl přestavěn a vybaven střílnami pro dělostřelecké zbraně.
V roce 1606 hrad koupila Anna Freiin von Polheim und Parz, vdova po posledním nájemci. Po její smrti byl hrad značně zanedbaný. V roce 1685 byl spolu se zámkem Schönbühel převeden na hraběte Ernsta Rüdigera von Starhemberg. V roce 1819 prodal Ludwig Josef Gregor von Starhemberg majetek hraběti Franzi von Beroldingen. V držení von Beroldingen zůstal až do roku 1930, kdy byl statek Schönbühel spolu se zříceninou hradu Aggstein prodán hraběti Oswaldu von Seilern Aspang.
Hadmar III. údajně považoval hrad za nedobytný. Ve skutečnosti neexistuje žádný důkaz, že by hrad byl někdy přímo násilně napaden. K dobytí hradu vedla pouze jiná opatření, například obléhací hlad.