Castelul Aragonese a fost construit la sfârșitul secolului al XV-lea de către Alfonso d'Aragona pentru a apăra Golful Pozzuoli de incursiunile maure, ca parte a unui vast program de construcție de sisteme de fortificații desfășurat în tot sudul Italiei, cu scopul de a asigura o apărare valabilă atât împotriva invaziilor frecvente ale sarazinilor, cât și împotriva antagonismului tenace al baronilor locali, care erau adesea uniți pentru a răsturna dominația regală. Amplul program de consolidare a sistemului de apărare a fost conceput ca o serie articulată de fortificații conectate organic între ele; astfel, au fost construite fortărețe în principal de-a lungul coastei (la Gaeta, Mondragone, Ischia, Baia și Pozzuoli), pentru a împiedica debarcarea flotelor inamice. Istoricul Riccardo Filangieri relatează, de fapt, că suveranul, folosindu-se de sfaturile arhitectului Francesco di Giorgio Martini, a făcut să se ridice o fortificație la Baia, pentru a apăra largul golfuleț de la Miseno la Nisida. Din arhitectura originală a castelului nu au mai rămas astăzi urme, deoarece a fost construit în perioada aragoneză și apoi transformat radical în următoarele decenii ale viceregatului spaniol, în urma inovațiilor introduse în tehnica militară. Consolidarea clădirii, lăsată neterminată de aragonezi, a fost realizată ulterior de viceregele Pedro Alvarez de Toledo, când castelul a fost avariat în 1538 de erupția Monte Nuovo, eveniment care a necesitat ample lucrări de restaurare, care, împreună cu cele ordonate de Don Pedro, au dus la pierderea definitivă a aspectului arhitectural primitiv al clădirii. Totuși, aceasta este încă reprezentată într-o xilogravură din 1539, care arată un donjon crenelat foarte înalt, cu plan pătrat, înconjurat de un zid de incintă care este la rândul său întărit de turnuri de colț, de asemenea crenelate, cu baza în formă de scarpină și plan pătrat. Noua structură a fost extinsă considerabil spre sud, fiind construită cu ziduri masive care se sprijină direct pe peretele de rocă tufașă, ceea ce i-a conferit aspectul pe care îl are și astăzi. Planul actual al fortului este alungit și este paralel cu versantul estic al promontoriului. La nord-vest se află poziția avansată a turnului de veghe cunoscut sub numele de Torre Tenaglia, datorită formei bastionului de la baza acestuia; în colțurile opuse, la sud, se află alte două bastioane, dintre care cel de sud-est permitea controlul accesului la mare, în timp ce cel de sud-vest asigura apărarea intrării dinspre uscat, care se făcea printr-un șir sinuos de trepte care ducea la un prim pod mobil. La vest, protecția era asigurată, de asemenea, de gurile de tun situate de-a lungul perimetrului crenelat și de un zid cu două bastioane. În schimb, nucleul inițial al castelului (maschio sau donjon) era situat în partea cea mai înaltă a promontoriului, în apropierea Turnului Tenaglia, iar drumul care ducea la el era protejat de alte trei poduri mobile. În 1575, Benvenuto Tortorelli a propus construirea unui zid de incintă pe partea mării, după ce identificase un punct slab în apărarea castelului. Aproximativ un secol mai târziu, în 1670, inginerul Curții Regale, Francesco Antonio Picchiatti, a indicat lucrări urgente de întreținere, inclusiv restaurarea parapetului de la Baluardo delle Dame și a zidului de susținere a celui de deasupra, cunoscut sub numele de Stendardo. În secolul al XVIII-lea, castelul a fost apoi afectat de numeroase evenimente, care au contribuit la deteriorarea sa: timp de treizeci de ani a fost ocupat de trupele austriece; apoi a suferit noi asedii în timpul scurtei perioade a Republicii Napolitane și o altă scurtă ocupație din partea trupelor franceze ale lui Iosif Bonaparte. După recucerirea Bourbonilor, fortăreața de la malul mării a fost consolidată și au fost construite noi cartiere pentru soldați. În 1887, garnizoana militară a castelului și-a încetat definitiv funcția de fortificație pentru apărarea coastei fălticenene, astfel încât, din acel moment, a început o fază de declin lent, cu transferuri continue de proprietate de la o administrație la alta. În timpul Primului Război Mondial, fortul a fost folosit pentru a reține prizonieri de război, astfel încât au fost ridicate ziduri înalte pe terasa Turnului Tenaglia pentru a crea o incintă. În 1926, Înaltul Comisariat al Provinciei și Municipalitatea din Napoli au obținut de la Oficiul Proprietății de Stat ca castelul să fie folosit ca sediu al unui mare institut pentru orfanii de război, astfel că în decurs de trei ani au fost efectuate lucrări considerabile care au transformat radical clădirea, modificând și uneori anulând urmele construcțiilor ridicate în secolele anterioare. În 1975, castelul a încetat și el să mai fie folosit ca orfelinat, iar proprietatea a revenit la Oficiul Proprietății de Stat, care, în 1984, l-a atribuit Superintendenței Arheologice de atunci a provinciilor Napoli și Caserta, care propusese ca acesta să fie folosit ca muzeu arheologic dedicat zonei Felegrae. În cele din urmă, din 1993, a devenit sediul Muzeului arheologic al Câmpurilor Flegrae, care este format din șase secțiuni topografice dedicate, respectiv, Cumae, Puteoli, Rione Terra, Liternum, Baia și Misenum, împărțite în cincizeci și șase de săli muzeale.