Aggsteini loss on üks kuulsamaid losse Austrias ja paelub igas vanuses külastajaid. Legendaarsed lossi varemed asuvad 300 m kõrgusel Doonau kohal asuval kaljurüüril, mis langeb kolmest küljest järsult alla. Lossi ehitas tõenäoliselt 12. sajandi alguses Manegold III Acchispachist (Aggsbach). Aastal 1181 jõudis see Aggsbach-Gansbachi perekonna Kuenringi valdusesse. Linnus piirati ja vallutati 1230/31 Hadmar III ja tema vasallide poolt Austria hertsog Friedrich II vastu suunatud mässu ajal. Friedrich II troonipärandi ehk herrscherlosen Zeit ("valitsejata aeg") üle peetud vaidluste käigus vahetasid Kuenringid paar korda oma positsiooni. Leutold Kuenring võitis seega Austria aadli ülestõusu hertsog Alberti vastu: seejärel piirati loss ja vallutati omakorda 1295/96. Viimane Kuenring, Leutoldo II, hoidis lossi aastatel 1348-1355. Hiljem langes see lagunemisele.
1429. aastal määras hertsog Albert V lossi oma kamraadile Jörg (Georg) Scheck von Waldile. Albrecht tellis temalt, et ta ehitaks varemetes lossi uuesti üles, et tagada laevade läbipääs Doonaul. 1438. aastal sai Scheck von Wald jõge mööda ülespoole sõitvate laevade teemaksuõiguse. Vastutasuks pidi ta hooldama puksiirteed, millest ülesvoolu praamid tõmmati. Samuti ehitas ta jõe kaldale teemaksukabiini, mis praegu toimib metsamajana. Aja jooksul sai temast röövliparun, kes rüüstas Doonaual sõitvaid laevu. Siit ka tema hüüdnimi "Schreckenwald" (sõnamäng tema perekonnanimest Scheck von Wald, mis tähendab "hirmu mets"), mis olevat talle antud tema julmuse tõttu elanikkonna vastu. 1463. aastal piiras lossi taas üks teine röövliparun Georg von Stain. Ta võitis Scheck von Waldi ja võttis lossi tagatiseks, sest hertsog olevat talle raha võlgu. 1476. aastal ajas von Staini välja Ulrich Freiherr von Graveneck, kes valitses lossi 1476-1477, kuni ka tema oli sunnitud lossi loovutama.
1477. aastal omandas lossi hertsog Leopoldo III ja hõivas selle üürnike ja eestkostjatega, et peatada rüüstamised. 1529. aastal lammutas türklaste grupp Viini esimese türklaste piiramise ajal lossi maatasa. Taas ehitati see uuesti üles ja varustati lünkadega suurtükkide jaoks.
1606. aastal ostis lossi viimase rentniku lesk Anna Freiin von Polheim und Parz. Pärast tema surma jäeti loss tõsiselt hooletusse. Aastal 1685 läks see koos Schloss Schönbüheliga krahv Ernst Rüdiger von Starhembergile üle. Ludwig Josef Gregor von Starhemberg müüs 1819. aastal krahv Franz von Beroldingenile. See jäi von Beroldingeni valdusse kuni 1930. aastani, mil Schönbüheli mõis koos Aggsteini lossi varemetega müüdi krahv Oswald von Seilern Aspangile.
Hadmar III pidas väidetavalt lossi vallutamatuks. Tegelikult ei ole tõendeid, et lossi oleks kunagi otse jõuga rünnatud. Ainult muud meetmed, näiteks piiramisnälg, viisid lossi vallutamiseni.