El castell aragonès va ser construït a finals del segle XV per Alfons d'Aragó per defensar el golf de Pozzuoli de les incursions morisques, com a part d'un ampli programa de construcció de sistemes de fortificació dut a terme per tot el sud d'Itàlia, amb l'objectiu tant de constituir un vàlid defensa contra les freqüents invasions sarraïnes, i contra l'antagonisme tenaç dels barons locals, que sovint s'unien per enderrocar el domini reial. L'extens programa de millora del sistema de defensa es va concebre com una sèrie articulada de fortificacions connectades orgànicament; per això es van construir fortaleses principalment al llarg de la costa (a Gaeta, Mondragone, Ischia, Baia i Pozzuoli), per dificultar el desembarcament de les flotes enemigues. Efectivament, l'historiador Riccardo Filangieri informa que el sobirà, aprofitant el consell de l'arquitecte Francesco di Giorgio Martini, va fer aixecar una fortificació a Baia, en defensa de la gran cala que va de Miseno a Nisida. De l'arquitectura original del castell, avui dia, no hi ha rastres, ja que va ser construït a l'època aragonesa i després transformat radicalment en les dècades següents del virregnat espanyol arran de les innovacions introduïdes en les tècniques militars. La finalització de les obres de reforç de l'edifici, deixades interrompudes pels aragonesos, va ser realitzada posteriorment pel virrei Pedro Álvarez de Toledo, quan el castell va ser danyat l'any 1538 per l'erupció del Monte Nuovo, fet que va requerir de llargues restauracions que, combinats amb els desitjats per Don Pedro, van provocar la pèrdua definitiva de l'aspecte arquitectònic primitiu de l'edifici. Això es conserva, però, representat en una xilografia de 1539, en la qual podem veure una torre emmerletada molt alta de planta quadrangular, envoltada per un mur cortina al seu torn reforçat per torres cantoneres igualment emmerletades, de base escarpada i planta quadrada. El nou organisme constructiu s'amplià considerablement cap al sud, construint-se amb potents murs, recolzats directament sobre el banc de roca tufa, que li donava l'aspecte que encara conserva. La planta actual del fort és allargada i es desenvolupa paral·lelament al vessant est del promontori. Al nord-oest, en posició avançada, hi ha la torre de guaita anomenada Torre Tenaglia, per la forma del baluard que es troba a la seva base; als angles oposats, cap al sud, hi ha altres dos baluards, dels quals el situat al sud-est permetia controlar els accessos al mar, mentre que el del sud-oest assegurava la defensa de l'entrada des del terra, que es feia per una escala de sinuoses que conduïa a un primer pont llevadís. A ponent, la protecció també estava assegurada pels canons situats al llarg del perímetre emmerletat i per un doble mur amb muralles. El nucli residencial original del castell (mascle o donjon) es trobava, en canvi, a la part més alta del promontori, prop de la Torre Tenaglia, i el camí que hi pujava estava protegit per altres tres ponts llevadís. L'any 1575, Benvenuto Tortorelli va proposar la construcció d'una muralla al costat del mar després d'identificar un punt feble en la defensa del castell. Aproximadament un segle més tard, l'any 1670, l'enginyer de la Cort Reial, Francesco Antonio Picchiatti, va indicar unes obres urgents de manteniment, entre les quals la restauració del parapet del baluard de les Dames i del mur de contenció de l'anterior, anomenat Estandard. Al segle XVIII el castell es va veure, doncs, afectat per nombrosos fets, que van contribuir al seu dany: durant trenta anys va ser ocupat per les tropes austríaques; després va sofrir nous setges durant el breu període de la República Napolitana i una altra breu ocupació per les tropes franceses de Giuseppe Bonaparte. Després de la reconquesta borbònica, doncs, es va reforçar el fort al mar i es van construir nous quarters per als soldats. L'any 1887 la guarnició militar del castell va cessar definitivament la seva funció de fortificació col·locada per defensar la costa flegrea, de manera que a partir d'aquell període s'inicià una fase de lenta decadència, amb continus transferències de propietat d'una administració a una altra. Durant la Primera Guerra Mundial el fort va ser utilitzat com a custòdia de presoners de guerra, per la qual cosa es van aixecar altes muralles a la terrassa de la Torre Tenaglia per crear un recinte. L'any 1926 l'Alt Comissionat de la Província i del Municipi de Nàpols va obtenir de la propietat de l'Estat que el castell fos utilitzat com a seu d'un gran institut d'orfes de guerra, de manera que en l'espai de tres anys es van realitzar notables obres que van transformar radicalment l'edifici, alterant i de vegades esborrant les empremtes dels edificis construïts en els segles anteriors. L'any 1975 el castell també va deixar la seva funció d'orfenat i la propietat va tornar després a l'Estat, que el 1984 va disposar a destinar-lo a l'aleshores Superintendencia Arqueològica de les províncies de Nàpols i Caserta, que havia proposat la seva destinació com a museu arqueològic dedicat. a la zona Flegrea. Finalment, des de l'any 1993 s'ha convertit en la seu del Museu Arqueològic dels Campi Flegrei, que consta de sis seccions topogràfiques dedicades respectivament a Cuma, Puteoli, Rione Terra, Liternum, Baia i Misenum, dividides en cinquanta-sis sales museístiques.