Het Aragonese kasteel werd aan het eind van de 15e eeuw gebouwd door Alfonso d'Aragona om de Golf van Pozzuoli te verdedigen tegen Moorse invallen, als onderdeel van een uitgebreid programma voor de bouw van vestingwerken in heel Zuid-Italië, met als doel zowel een geldige verdediging te bieden tegen de veelvuldige Saraceense invallen als tegen het hardnekkige antagonisme van de plaatselijke baronnen, die vaak verenigd waren om de koninklijke heerschappij omver te werpen. Het uitgebreide programma ter versterking van het verdedigingssysteem werd opgevat als een gelede reeks versterkingen die organisch met elkaar verbonden waren; bolwerken werden dus vooral langs de kust gebouwd (bij Gaeta, Mondragone, Ischia, Baia en Pozzuoli), om de landing van vijandelijke vloten te verhinderen. De historicus Riccardo Filangieri meldt namelijk dat de vorst, op advies van de architect Francesco di Giorgio Martini, in Baia een fort liet bouwen ter verdediging van de brede inham van Miseno tot Nisida. Van de oorspronkelijke architectuur van het kasteel zijn vandaag de dag geen sporen meer te vinden, omdat het in de Aragonese periode werd gebouwd en vervolgens in de daaropvolgende decennia van het Spaanse onderkoningendom ingrijpend werd veranderd als gevolg van de vernieuwingen die in de militaire technieken werden ingevoerd. De versterking van het gebouw, die door de Aragonesen onvoltooid werd gelaten, werd later uitgevoerd door onderkoning Pedro Alvarez de Toledo, toen het kasteel in 1538 werd beschadigd door de uitbarsting van de Monte Nuovo, een gebeurtenis die uitgebreide restauratiewerkzaamheden noodzakelijk maakte, die, in combinatie met die waartoe Don Pedro opdracht had gegeven, leidden tot het definitieve verlies van het primitieve architectonische uiterlijk van het gebouw. Dit wordt echter nog steeds weergegeven in een houtsnede uit 1539, waarop een zeer hoge donjon met kantelen te zien is met een vierhoekige plattegrond, omgeven door een gordijngevel die op zijn beurt wordt versterkt door hoektorens die ook met kantelen zijn uitgerust, met een schuine basis en een vierkante plattegrond. Het nieuwe bouwwerk werd naar het zuiden toe aanzienlijk uitgebreid, met massieve muren die direct op de tufsteenrots rusten, waardoor het er nu nog steeds zo uitziet. Het huidige plan van het fort is langgerekt en loopt parallel aan de oostelijke helling van het voorgebergte. In het noordwesten bevindt zich de vooruitgeschoven positie van de wachttoren, Torre Tenaglia genaamd, vanwege de vorm van het bastion aan de basis; in de tegenoverliggende hoeken, in het zuiden, bevinden zich twee andere bastions, waarvan die in het zuidoosten de toegang tot de zee controleerde, terwijl die in het zuidwesten zorgde voor de verdediging van de ingang vanaf het land, die via een kronkelige trap naar een eerste ophaalbrug leidde. In het westen werd de bescherming eveneens verzekerd door de kanonnenpoorten langs de gekanteelde omtrek en een dubbele bastionmuur. De oorspronkelijke kern van het kasteel (maschio of donjon) bevond zich daarentegen op het hoogste deel van het voorgebergte, vlakbij de toren Tenaglia, en het pad ernaartoe werd beschermd door nog eens drie ophaalbruggen. In 1575 stelde Benvenuto Tortorelli de bouw voor van een ommuring aan de zeezijde, nadat hij een zwak punt in de verdediging van het kasteel had ontdekt. Ongeveer een eeuw later, in 1670, gaf de ingenieur van het Koninklijk Hof, Francesco Antonio Picchiatti, urgente onderhoudswerkzaamheden aan, waaronder het herstel van de borstwering van het Baluardo delle Dame en de steunmuur van het daarboven gelegen Baluardo, bekend als het Stendardo. In de 18e eeuw werd het kasteel vervolgens getroffen door talrijke gebeurtenissen, die bijdroegen aan de schade: gedurende dertig jaar was het bezet door Oostenrijkse troepen; vervolgens onderging het nieuwe belegeringen tijdens de korte periode van de Napolitaanse Republiek en een verdere korte bezetting door de Franse troepen van Joseph Bonaparte. Na de herovering door de Bourbons werd het fort aan zee versterkt en werden nieuwe kwartieren gebouwd voor de soldaten. In 1887 staakte het militaire garnizoen van het kasteel uiteindelijk zijn functie als vestingwerk ter verdediging van de Phlegraeïsche kustlijn, zodat vanaf dat moment een fase van langzaam verval aanbrak, met voortdurende eigendomsoverdrachten van het ene bestuur naar het andere. Tijdens de Eerste Wereldoorlog werd het fort gebruikt om krijgsgevangenen vast te houden, zodat op het terras van de Tenaglia-toren hoge muren werden opgetrokken om een omheining te creëren. In 1926 kregen de Hoge Commissie van de Provincie en de Gemeente Napels van het Bureau voor Staatseigendom toestemming om het kasteel te gebruiken als locatie voor een groot instituut voor oorlogswezen, zodat in drie jaar tijd aanzienlijke werkzaamheden werden uitgevoerd die het gebouw ingrijpend veranderden, waarbij de sporen van de in de voorgaande eeuwen gebouwde constructies werden veranderd en soms tenietgedaan. In 1975 werd het kasteel ook niet langer als weeshuis gebruikt en kwam het weer in handen van het Bureau voor Staatseigendom, dat het in 1984 overdroeg aan de toenmalige Archeologische Dienst van de provincies Napels en Caserta, die had voorgesteld het te gebruiken als archeologisch museum voor het Phlegraeïsche gebied. Uiteindelijk is het sinds 1993 de zetel geworden van het Archeologisch Museum van de Phlegraeïsche Velden, dat bestaat uit zes topografische afdelingen gewijd aan respectievelijk Cumae, Puteoli, Rione Terra, Liternum, Baia en Misenum, verdeeld over zesenvijftig museumzalen.