Det aragonesiske slot blev bygget i slutningen af det 15. århundrede af Alfonso d'Aragona for at forsvare Pozzuoli-bugten mod mauriske indfald som led i et omfattende program for opførelse af befæstningssystemer i hele Syditalien med det formål at sikre et effektivt forsvar mod de hyppige saracenerinvasioner og mod de lokale baroners hårdnakkede modstand, der ofte var forenet for at omstyrte det kongelige herredømme. Det omfattende program til styrkelse af forsvarssystemet var tænkt som en række forbundne fæstningsværker, der var organisk forbundet med hinanden; der blev derfor primært bygget fæstningsværker langs kysten (ved Gaeta, Mondragone, Ischia, Baia og Pozzuoli) for at forhindre fjendtlige flåder i at gå i land. Historikeren Riccardo Filangieri beretter faktisk, at regenten, der benyttede sig af råd fra arkitekten Francesco di Giorgio Martini, lod opføre en befæstning i Baia for at forsvare den brede indsejling fra Miseno til Nisida. Der er i dag ingen spor tilbage af slottets oprindelige arkitektur, da det blev bygget i den aragonske periode og derefter radikalt ombygget i de følgende årtier under det spanske vicekongedømme som følge af de nyskabelser, der blev indført inden for militærteknikken. Forstærkningen af bygningen, der blev efterladt ufærdig af aragonerne, blev senere udført af vicekonge Pedro Alvarez de Toledo, da slottet blev beskadiget i 1538 ved udbruddet af Monte Nuovo, en begivenhed, der nødvendiggjorde omfattende restaureringsarbejder, som sammen med dem, som Don Pedro havde beordret, førte til, at bygningens primitive arkitektoniske udseende definitivt forsvandt. Dette er dog stadig repræsenteret på et træsnit fra 1539, der viser et meget højt, kreneleret tårn med en firkantet plan, omgivet af en ringmur, der igen er forstærket af hjørnetårne, som også er krenelerede, med en skarp base og en firkantet plan. Den nye bygning blev udvidet betydeligt mod syd og blev bygget med massive mure, der hvilede direkte på den tuftige klippevæg, hvilket gav den det udseende, som den stadig har i dag. Fortets nuværende plan er aflangt og ligger parallelt med den østlige skråning af fortorvet. I det nordvestlige hjørne, i det sydlige hjørne, ligger to andre bastioner, hvoraf den sydøstlige gav mulighed for at kontrollere adgangen til havet, mens den sydvestlige sikrede forsvaret af indgangen fra land, som gik via en snoet trappe, der førte til en første vindebro. Mod vest blev beskyttelsen også sikret af de kanonporte, der var placeret langs den krenelerede omkreds, og en dobbelt bastionsmur. Borgens oprindelige kerne (maschio eller donjon) var i stedet placeret på den højeste del af fortorvet, nær Tenaglia-tårnet, og stien op til den var beskyttet af yderligere tre vindebroer. I 1575 foreslog Benvenuto Tortorelli at opføre en omgivende mur på havsiden, da han havde fundet et svagt punkt i borgens forsvar. Ca. et århundrede senere, i 1670, angav kongehusets ingeniør Francesco Antonio Picchiatti, at der skulle udføres hastende vedligeholdelsesarbejder, herunder restaurering af balustraden på Baluardo delle Dame og støttemuren på den øverste balustrade, kendt som Stendardo. I det 18. århundrede blev slottet så ramt af mange begivenheder, som bidrog til dets ødelæggelse: i 30 år var det besat af østrigske tropper; derefter blev det udsat for nye belejringer under den korte periode med den napolitanske republik og endnu en kort besættelse af Joseph Bonapartes franske tropper. Efter den bourboniske generobring blev fæstningen ved havet forstærket, og der blev bygget nye kvarterer til soldaterne. I 1887 ophørte den militære garnison på borgen endelig med at fungere som fæstningsværk til forsvar af den flegrafiske kystlinje, og fra det tidspunkt begyndte en langsom forfaldsfase med løbende overdragelse af ejerskabet fra den ene administration til den anden. Under Første Verdenskrig blev fortet brugt til at tilbageholde krigsfanger, og derfor blev der opført høje mure på terrassen ved Tenaglia-tårnet for at skabe en indhegning. I 1926 opnåede provinsens højkommissariat og Napoli kommune fra statens ejendomskontor, at slottet skulle anvendes til et stort institut for krigsforældreløse børn, så i løbet af tre år blev der udført betydelige arbejder, som radikalt forandrede bygningen, idet sporene af de konstruktioner, der var opført i de foregående århundreder, blev ændret og undertiden ophævet. I 1975 ophørte slottet også med at blive brugt som børnehjem, og ejerskabet gik tilbage til statens ejendomskontor, som i 1984 overdrog det til det daværende arkæologiske superintendentat for provinserne Napoli og Caserta, som havde foreslået, at det skulle bruges som et særligt arkæologisk museum for det flegræiske område. Siden 1993 har det endelig været hjemsted for det arkæologiske museum for de flegræiske områder, som består af seks topografiske afdelinger, der er dedikeret til henholdsvis Cumae, Puteoli, Rione Terra, Liternum, Baia og Misenum, fordelt på 56 museumsrum.