Το κάστρο Aragonese χτίστηκε στα τέλη του 15ου αιώνα από τον Alfonso d'Aragona για να υπερασπιστεί τον κόλπο του Pozzuoli από τις μαυριτανικές επιδρομές, στο πλαίσιο ενός εκτεταμένου προγράμματος κατασκευής οχυρωματικών συστημάτων που πραγματοποιήθηκε σε ολόκληρη τη νότια Ιταλία, με στόχο τόσο την παροχή έγκυρης άμυνας ενάντια στις συχνές επιδρομές των Σαρακηνών όσο και στον επίμονο ανταγωνισμό των τοπικών βαρόνων, οι οποίοι συχνά ενώνονταν για να ανατρέψουν τη βασιλική κυριαρχία. Το εκτεταμένο πρόγραμμα για την ενίσχυση του αμυντικού συστήματος σχεδιάστηκε ως μια αρθρωτή σειρά οχυρώσεων που συνδέονταν οργανικά μεταξύ τους- τα οχυρά κατασκευάστηκαν επομένως κυρίως κατά μήκος της ακτής (στη Γκαέτα, το Μοντραγκόνε, την Ίσκια, τη Μπάια και το Ποτσουόλι), για να εμποδίσουν την απόβαση εχθρικών στόλων. Ο ιστορικός Riccardo Filangieri αναφέρει, μάλιστα, ότι ο ηγεμόνας, επωφελούμενος από τις συμβουλές του αρχιτέκτονα Francesco di Giorgio Martini, ανέθεσε την κατασκευή ενός οχυρού στη Baia, για να υπερασπιστεί τον ευρύ κόλπο από το Miseno έως τη Nisida. Σήμερα δεν υπάρχουν ίχνη της αρχικής αρχιτεκτονικής του κάστρου, καθώς χτίστηκε κατά την περίοδο της Αραγονίας και στη συνέχεια μεταμορφώθηκε ριζικά κατά τις επόμενες δεκαετίες της ισπανικής αντιβασιλείας, ακολουθώντας τις καινοτομίες που εισήχθησαν στις στρατιωτικές τεχνικές. Η ενίσχυση του κτιρίου, που έμεινε ημιτελής από τους Αραγονέζους, πραγματοποιήθηκε αργότερα από τον αντιβασιλέα Pedro Alvarez de Toledo, όταν το κάστρο υπέστη ζημιές το 1538 από την έκρηξη του Monte Nuovo, γεγονός που επέβαλε εκτεταμένες εργασίες αποκατάστασης, οι οποίες, μαζί με αυτές που διέταξε ο Don Pedro, οδήγησαν στην οριστική απώλεια της πρωτόγονης αρχιτεκτονικής εμφάνισης του κτιρίου. Ωστόσο, αυτή εξακολουθεί να αναπαρίσταται σε μια ξυλογραφία του 1539, η οποία δείχνει ένα πολύ ψηλό κρηπιδωτό φρούριο με τετράγωνη κάτοψη, που περιβάλλεται από ένα παραπετάσμα που με τη σειρά του ενισχύεται από γωνιακούς πύργους επίσης κρηπιδωτούς, με βάση απότομη και τετράγωνη κάτοψη. Η νέα δομή διευρύνθηκε σημαντικά προς τα νότια, καθώς χτίστηκε με ογκώδεις τοίχους που στηρίζονται απευθείας στην τοιχοποιία του βράχου, γεγονός που του έδωσε την εμφάνιση που έχει ακόμη και σήμερα. Η σημερινή κάτοψη του φρουρίου είναι επιμήκης και εκτείνεται παράλληλα με την ανατολική πλαγιά του ακρωτηρίου. Στα βορειοδυτικά βρίσκεται η προωθημένη θέση του παρατηρητηρίου, γνωστού ως Torre Tenaglia, λόγω του σχήματος του προμαχώνα στη βάση του- στις απέναντι γωνίες, στα νότια, βρίσκονται δύο άλλοι προμαχώνες, εκ των οποίων ο νοτιοανατολικός επέτρεπε τον έλεγχο της πρόσβασης στη θάλασσα, ενώ ο νοτιοδυτικός εξασφάλιζε την άμυνα της εισόδου από τη στεριά, η οποία γινόταν μέσω μιας ελικοειδούς σκάλας που οδηγούσε σε μια πρώτη συρόμενη γέφυρα. Στα δυτικά, η προστασία εξασφαλιζόταν επίσης από τις θυρίδες πυροβόλων που βρίσκονταν κατά μήκος της περιμέτρου με κρηπιδώματα και από ένα διπλό προμαχώνα. Ο αρχικός πυρήνας του κάστρου (maschio ή donjon) βρισκόταν αντίθετα στο υψηλότερο σημείο του ακρωτηρίου, κοντά στον πύργο Tenaglia, και το μονοπάτι που οδηγούσε σε αυτόν προστατευόταν από τρεις ακόμη συρόμενες γέφυρες. Το 1575, ο Benvenuto Tortorelli πρότεινε την κατασκευή ενός περιμετρικού τείχους στην πλευρά της θάλασσας, έχοντας εντοπίσει ένα αδύναμο σημείο στην άμυνα του κάστρου. Περίπου έναν αιώνα αργότερα, το 1670, ο μηχανικός της βασιλικής αυλής, Francesco Antonio Picchiatti, υπέδειξε επείγουσες εργασίες συντήρησης, συμπεριλαμβανομένης της αποκατάστασης του στηθαίου του Baluardo delle Dame και του τοίχου αντιστήριξης του υπερκείμενου, γνωστού ως Stendardo. Τον 18ο αιώνα, το κάστρο επλήγη από πολλά γεγονότα, τα οποία συνέβαλαν στην καταστροφή του: για τριάντα χρόνια ήταν υπό την κατοχή αυστριακών στρατευμάτων- στη συνέχεια υπέστη νέες πολιορκίες κατά τη σύντομη περίοδο της Ναπολιτάνικης Δημοκρατίας και μια ακόμη σύντομη κατοχή από τα γαλλικά στρατεύματα του Ιωσήφ Βοναπάρτη. Μετά την ανακατάληψη από τους Βουρβόνους, το φρούριο δίπλα στη θάλασσα ενισχύθηκε και χτίστηκαν νέα καταλύματα για τους στρατιώτες. Το 1887, η στρατιωτική φρουρά του κάστρου έπαψε τελικά να λειτουργεί ως οχύρωση για την άμυνα της ακτογραμμής του Φλεγράου, οπότε από τότε άρχισε μια φάση αργής παρακμής, με συνεχείς μεταβιβάσεις ιδιοκτησίας από τη μια διοίκηση στην άλλη. Κατά τη διάρκεια του Πρώτου Παγκοσμίου Πολέμου, το φρούριο χρησιμοποιήθηκε για την κράτηση αιχμαλώτων πολέμου, οπότε στην ταράτσα του πύργου Tenaglia ανεγέρθηκαν υψηλοί τοίχοι για να δημιουργηθεί ένας περίβολος. Το 1926, η Ανώτατη Επιτροπή της Επαρχίας και ο Δήμος της Νάπολης απέσπασαν από το Γραφείο Κρατικής Περιουσίας την άδεια να χρησιμοποιηθεί το κάστρο ως χώρος ενός μεγάλου ιδρύματος για τα ορφανά του πολέμου, οπότε μέσα σε τρία χρόνια πραγματοποιήθηκαν σημαντικά έργα που μεταμόρφωσαν ριζικά το κτίριο, αλλοιώνοντας και μερικές φορές ακυρώνοντας τα ίχνη των κατασκευών που είχαν κατασκευαστεί τους προηγούμενους αιώνες. Το 1975, το κάστρο έπαψε επίσης να χρησιμοποιείται ως ορφανοτροφείο και η κυριότητα επέστρεψε στο Γραφείο Κρατικής Περιουσίας, το οποίο το 1984 το παραχώρησε στην τότε Αρχαιολογική Εποπτεία των επαρχιών της Νάπολης και της Καζέρτας, η οποία είχε προτείνει να χρησιμοποιηθεί ως ειδικό αρχαιολογικό μουσείο της περιοχής των Φλεγράφων. Τελικά, από το 1993, έχει γίνει η έδρα του Αρχαιολογικού Μουσείου των Φλεγραίων Πεδίων, το οποίο αποτελείται από έξι τοπογραφικά τμήματα αφιερωμένα αντίστοιχα στις Cumae, Puteoli, Rione Terra, Liternum, Baia και Misenum, χωρισμένα σε πενήντα έξι μουσειακές αίθουσες.