Замъкът Арагонезе е построен в края на XV в. от Алфонсо д'Арагоне за защита на залива Поцуоли от мавритански нашествия в рамките на мащабна програма за изграждане на укрепителни системи в цяла Южна Италия с цел да се осигури надеждна защита както срещу честите сарацински нашествия, така и срещу упорития антагонизъм на местните барони, които често се обединяват, за да свалят кралското владение. Обширната програма за укрепване на отбранителната система е замислена като органична поредица от укрепления, органично свързани помежду си; затова крепостите са построени главно по крайбрежието (в Гаета, Мондрагоне, Иския, Бая и Поцуоли), за да възпрепятстват десанта на вражеските флотилии. Историкът Рикардо Филангиери съобщава, че владетелят, възползвайки се от съветите на архитекта Франческо ди Джорджо Мартини, е поръчал да се издигне укрепление в Бая, за да се защити широкият залив от Мисено до Низида. Днес не са останали следи от първоначалната архитектура на замъка, тъй като той е построен през арагонския период и след това е коренно променен през следващите десетилетия на испанското вицекралство, следвайки нововъведенията, въведени във военната техника. Укрепването на сградата, оставено незавършено от арагонците, е извършено по-късно от вицекрал Педро Алварес де Толедо, когато замъкът е повреден през 1538 г. от изригването на Монте Нуово - събитие, което налага мащабни реставрационни дейности, които, в съчетание с тези, наредени от дон Педро, водят до окончателна загуба на примитивния архитектурен облик на сградата. Той обаче все още е представен на дърворезба от 1539 г., на която е изобразена много висока крепостна стена с четириъгълен план, заобиколена от куртина, която на свой ред е подсилена от ъглови кули, също с крепостни стени, със скосена основа и квадратен план. Новата постройка е била значително разширена на юг, като е била изградена с масивни стени, опиращи се директно на туфестата скала, което ѝ е придало вида, който има и днес. Сегашният план на крепостта е издължен и върви успоредно на източния склон на носа. В северозападната част се намира предната позиция на стражевата кула, известна като Torre Tenaglia, поради формата на бастиона в основата ѝ. В срещуположните ъгли, на юг, са разположени други два бастиона, от които този на югоизток е позволявал да се контролира достъпът до морето, а този на югозапад е осигурявал защитата на входа откъм сушата, който е минавал през виещи се стъпала, водещи до първия подвижен мост. На запад защитата е била осигурена и от оръдейните пристанища, разположени по протежение на кранеленовия периметър, и двойната бастионна стена. Вместо това първоначалното ядро на замъка (maschio или donjon) е било разположено в най-високата част на носа, близо до кулата Tenaglia, а пътят, водещ до него, е бил защитен от още три подвижни моста. През 1575 г. Бенвенуто Торторели предлага изграждането на обграждаща стена откъм морето, след като установява слабо място в защитата на замъка. Приблизително век по-късно, през 1670 г., инженерът на кралския двор Франческо Антонио Пикиати посочва спешни дейности по поддръжката, включително възстановяване на парапета на Балуардо деле Даме и подпорната стена на тази над него, известна като Стендардо. През XVIII в. замъкът е засегнат от множество събития, които допринасят за увреждането му: в продължение на тридесет години той е окупиран от австрийски войски; след това претърпява нови обсади по време на краткия период на Неаполитанската република и още една кратка окупация от френските войски на Жозеф Бонапарт. След повторното завладяване от Бурбоните крепостта на брега на морето е укрепена и са построени нови помещения за войниците. През 1887 г. военният гарнизон на замъка окончателно прекратява функцията си на укрепление за защита на флегранското крайбрежие, така че от този момент нататък започва фаза на бавен упадък с непрекъснати прехвърляния на собствеността от една администрация на друга. По време на Първата световна война крепостта е използвана за задържане на военнопленници, така че на терасата на кулата Tenaglia са издигнати високи стени, за да се създаде заграждение. През 1926 г. Върховната комисия на провинцията и община Неапол получават от Службата за държавна собственост разрешение крепостта да бъде използвана като място за голям институт за сираци от войната, така че в рамките на три години са извършени значителни дейности, които радикално преобразяват сградата, като променят и понякога заличават следите от постройките, изградени през предходните векове. През 1975 г. замъкът също престава да се използва като сиропиталище и собствеността му се връща на Службата за държавна собственост, която през 1984 г. го предоставя на тогавашната Археологическа инспекция на провинциите Неапол и Казерта, която предлага той да бъде използван като специализиран археологически музей на района на Флегра. Накрая, от 1993 г., той става седалище на Археологическия музей на Флегрейските полета, който се състои от шест топографски секции, посветени съответно на Кума, Путеоли, Рионе Тера, Литернум, Бая и Мизенум, разделени на петдесет и шест музейни зали