Το κάστρο Aggstein είναι ένα από τα πιο διάσημα κάστρα της Αυστρίας και γοητεύει τους επισκέπτες όλων των ηλικιών. Τα θρυλικά ερείπια του κάστρου βρίσκονται σε μια προεξοχή βράχου 300 μ. πάνω από τον Δούναβη, η οποία πέφτει απότομα σε τρεις πλευρές. Το κάστρο χτίστηκε πιθανότατα στις αρχές του 12ου αιώνα από τον Manegold III του Acchispach (Aggsbach). Το 1181 περιήλθε στην κατοχή της οικογένειας Kuenring του Aggsbach-Gansbach. Πολιορκήθηκε και κατακτήθηκε το 1230/31 κατά τη διάρκεια της εξέγερσης του Hadmar III και των υποτελών του κατά του δούκα Φρειδερίκου II της Αυστρίας. Στις διαμάχες για τη διαδοχή του Φρειδερίκου Β', ή αλλιώς herrscherlosen Zeit ("χρόνος χωρίς ηγεμόνα"), οι Kuenring άλλαξαν θέση μερικές φορές. Ο Leutold Kuenring νίκησε έτσι την αυστριακή αριστοκρατία στην εξέγερση κατά του δούκα Αλβέρτου: στη συνέχεια, το κάστρο πολιορκήθηκε και με τη σειρά του κατακτήθηκε το 1295/96. Ο τελευταίος Kuenring, ο Leutoldo II, διατήρησε το κάστρο από το 1348 έως το 1355. Αργότερα έπεσε σε ερείπωση.
Το 1429, ο δούκας Αλβέρτος Ε΄ ανέθεσε το κάστρο στον οικονόμο του, Jörg (Georg) Scheck von Wald. Ο Άλμπρεχτ του ανέθεσε να ανοικοδομήσει το ερειπωμένο κάστρο για να εξασφαλίσει τη διέλευση των πλοίων στον Δούναβη. Το 1438 ο Scheck von Wald έλαβε δικαιώματα διοδίων για τα πλοία που ανέβαιναν τον ποταμό. Σε αντάλλαγμα, έπρεπε να συντηρεί τα ρυμουλκούμενα μονοπάτια από τα οποία έλκονταν οι ανάντη φορτηγίδες. Έχτισε επίσης έναν θάλαμο διοδίων στην όχθη του ποταμού, ο οποίος σήμερα χρησιμεύει ως δασική κατοικία. Με την πάροδο του χρόνου, έγινε ληστρικός βαρόνος, που έκανε επιδρομές σε πλοία στο Δούναβη. Εξ ου και το παρατσούκλι του, "Schreckenwald", (λογοπαίγνιο με το οικογενειακό του όνομα, Scheck von Wald, που σημαίνει "Δάσος του τρόμου"), το οποίο λέγεται ότι του δόθηκε λόγω της σκληρότητάς του προς τον πληθυσμό. Το 1463 το κάστρο πολιορκήθηκε και πάλι από έναν άλλο ληστρικό βαρόνο, τον Georg von Stain. Νίκησε τον Scheck von Wald και πήρε το κάστρο ως εγγύηση, καθώς ο Δούκας λέγεται ότι του χρωστούσε χρήματα. Το 1476 ο von Stain εκδιώχθηκε από τον Ulrich Freiherr von Graveneck, ο οποίος κυβέρνησε το κάστρο από το 1476 έως το 1477, μέχρι που αναγκάστηκε και αυτός να το παραδώσει.
Το 1477 ο δούκας Λεοπόλδος Γ' απέκτησε το κάστρο και το κατέλαβε με ενοικιαστές και κηδεμόνες για να σταματήσουν οι επιδρομές. Το 1529, το κάστρο ισοπεδώθηκε από μια ομάδα Τούρκων κατά την πρώτη τουρκική πολιορκία της Βιέννης. Για άλλη μια φορά ξαναχτίστηκε και εξοπλίστηκε με παραθυράκια για πυροβόλα όπλα.
Το 1606 η Anna Freiin von Polheim und Parz, χήρα του τελευταίου ενοικιαστή, αγόρασε το κάστρο. Μετά το θάνατό του, το κάστρο παραμελήθηκε σοβαρά. Το 1685 μεταβιβάστηκε στον κόμη Ernst Rüdiger von Starhemberg, μαζί με το Schloss Schönbühel. Ο Ludwig Josef Gregor von Starhemberg πούλησε τις ιδιοκτησίες στον κόμη Franz von Beroldingen το 1819. Παρέμεινε στην κατοχή του von Beroldingen μέχρι το 1930, όταν το κτήμα Schönbühel, μαζί με τα ερείπια του κάστρου Aggstein, πωλήθηκε στον κόμη Oswald von Seilern Aspang.
Ο Hadmar III λέγεται ότι θεωρούσε το κάστρο απόρθητο. Στην πραγματικότητα, δεν υπάρχει καμία απόδειξη ότι το κάστρο εισέβαλε ποτέ άμεσα με τη βία. Μόνο άλλα μέτρα, όπως η πολιορκητική πείνα, οδήγησαν στην κατάκτηση του κάστρου.