Det aragonesiska slottet byggdes i slutet av 1400-talet av Alfonso d'Aragona för att försvara Pozzuoli-bukten mot moriska angrepp, som en del av ett omfattande program för byggande av befästningssystem i hela södra Italien. Syftet var att skapa ett effektivt försvar mot de frekventa saracenerinvasionerna och mot de lokala baronernas ihärdiga motstånd, som ofta förenade sig för att störta det kungliga herraväldet. Det omfattande programmet för att förstärka försvarssystemet var tänkt som en artikulerad serie av befästningar som var organiskt sammankopplade med varandra. Fästningar byggdes därför främst längs kusten (vid Gaeta, Mondragone, Ischia, Baia och Pozzuoli) för att hindra landstigning av fiendeflottor. Historikern Riccardo Filangieri rapporterar faktiskt att fursten, som använde sig av råd från arkitekten Francesco di Giorgio Martini, lät uppföra en befästning i Baia för att försvara den breda viken från Miseno till Nisida. Idag finns inga spår kvar av slottets ursprungliga arkitektur, eftersom det byggdes under den aragonesiska perioden och sedan förändrades radikalt under de följande decennierna av det spanska vicekungadömet efter de innovationer som infördes inom militärtekniken. Förstärkningen av byggnaden, som lämnades oavslutad av aragonierna, utfördes senare av vicekung Pedro Alvarez de Toledo, när slottet skadades 1538 av Monte Nuovos utbrott, en händelse som krävde omfattande restaureringsarbeten, som tillsammans med de arbeten som beställdes av Don Pedro ledde till att byggnadens primitiva arkitektoniska utseende slutgiltigt försvann. Detta finns dock fortfarande representerat i ett träsnitt från 1539, som visar ett mycket högt krenelerat torn med en fyrkantig plan, omgivet av en ridåmur som i sin tur förstärks av hörntorn som också är krenelerade, med en skarp bas och kvadratisk plan. Den nya byggnadsorganisationen utvidgades avsevärt mot söder och byggdes med mäktiga murar som vilade direkt på den tuffiga stenbanken, vilket gav den det utseende som den fortfarande har idag. Fortets nuvarande plan är långsträckt och löper parallellt med uddens östra sluttning. I nordväst ligger det framskjutna läget för vakttornet som kallas Torre Tenaglia, på grund av formen på bastionen vid dess bas; i de motsatta hörnen, i söder, finns två andra bastioner, varav den sydöstra gav kontroll över tillträdet till havet, medan den sydvästra säkerställde försvaret av ingången från land, som gick via en slingrande trappa som ledde till en första dragbro. I väster skyddades den också av de kanonportar som fanns längs den krenelerade omkretsen och en dubbel bastionsmur. Borgens ursprungliga kärna (maschio eller donjon) låg istället på den högsta delen av udden, nära Tenaglia-tornet, och den väg som ledde upp till den skyddades av ytterligare tre dragbroar. År 1575 föreslog Benvenuto Tortorelli att man skulle bygga en omgivande mur på havssidan, eftersom han hade identifierat en svag punkt i slottets försvar. Ungefär ett sekel senare, 1670, föreslog Francesco Antonio Picchiatti, ingenjör vid det kungliga hovet, brådskande underhållsarbeten, bland annat restaurering av balustraden på Baluardo delle Dame och stödmuren på den övre balustraden, den så kallade Stendardo. Under 1700-talet drabbades slottet av många händelser som bidrog till att det skadades: under trettio år var det ockuperat av österrikiska trupper, sedan drabbades det av nya belägringar under den korta perioden av den napolitanska republiken och ytterligare en kort ockupation av Joseph Bonapartes franska trupper. Efter Bourbonernas återerövring förstärktes fästningen vid havet och nya bostäder byggdes för soldaterna. År 1887 upphörde slottets militära garnison slutligen med sin funktion som befästning för försvaret av den grafiska kusten, och från och med den tidpunkten inleddes en långsam nedgång med ständiga överlåtelser av äganderätten från en förvaltning till en annan. Under första världskriget användes fortet för att hålla krigsfångar, så höga murar uppfördes på terrassen vid Tenaglia-tornet för att skapa en inhägnad. År 1926 fick provinsens högkommissariat och Neapels kommun av Statens fastighetskontor tillstånd att använda slottet som plats för ett stort institut för krigsföräldralösa barn. Under tre år genomfördes därför omfattande arbeten som radikalt förändrade byggnaden, förändrade och ibland upphävde spåren av de konstruktioner som uppförts under de föregående århundradena. År 1975 upphörde slottet också att användas som barnhem och äganderätten återgick till Statens fastighetskontor, som 1984 överlät det till den dåvarande arkeologiska överstyrelsen för provinserna Neapel och Caserta, som hade föreslagit att det skulle användas som ett särskilt arkeologiskt museum för det grafiska området. Sedan 1993 är det slutligen säte för det arkeologiska museet för de flegreiska fälten, som består av sex topografiska avdelningar för Cumae, Puteoli, Rione Terra, Liternum, Baia och Misenum, uppdelade på 56 museisalar.