Арагонський замок був побудований наприкінці 15 століття Альфонсо д'Арагона для захисту затоки Поццуолі від мавританських вторгнень, як частина масштабної програми будівництва укріплень по всій південній Італії, що мала на меті як забезпечення надійного захисту від частих сарацинських вторгнень, так і від затятого антагонізму місцевих баронів, які часто об'єднувалися, щоб повалити королівську владу. Широка програма зміцнення оборонної системи була задумана як зчленована серія укріплень, органічно пов'язаних між собою; тому фортеці будувалися переважно вздовж узбережжя (в Гаєті, Мондрагоне, Іск'ї, Байї та Поццуолі), щоб перешкоджати висадці ворожих флотів. Історик Ріккардо Філанджері повідомляє, що государ, скориставшись порадою архітектора Франческо ді Джорджо Мартіні, наказав звести укріплення в Байї, щоб захистити широку протоку від Мізено до Нісіди. Від первісної архітектури замку сьогодні не залишилося жодних слідів, оскільки він був побудований в арагонський період, а потім радикально змінений у наступні десятиліття іспанського віце-королівства відповідно до нововведень, запроваджених у військовій техніці. Укріплення будівлі, залишеної арагонцями незавершеною, було здійснено пізніше віце-королем Педро Альваресом де Толедо, коли замок був пошкоджений у 1538 році виверженням вулкану Монте-Нуово - подією, що вимагала масштабних реставраційних робіт, які, разом з тими, що були проведені за наказом дона Педро, призвели до остаточної втрати первісного архітектурного вигляду споруди. Однак він все ще представлений на гравюрі на дереві 1539 року, на якій зображений дуже високий зубчастий замок з чотирикутним планом, оточений куртиною, яка, в свою чергу, укріплена наріжними вежами, також зубчастими, з урвистою основою і квадратним планом. Новий будівельний організм був значно розширений у південному напрямку, збудований з могутніми стінами, що спираються безпосередньо на туфові скелі, що надало йому того вигляду, який він має і сьогодні. Сучасний план форту витягнутий і проходить паралельно східному схилу мису. На північному заході знаходиться передова позиція сторожової вежі, відомої як Торре Теналья, завдяки формі бастіону біля її основи; в протилежних кутах, на південь, розташовані два інші бастіони, з яких один на південному сході дозволяв контролювати доступ до моря, а один на південному заході забезпечував захист в'їзду з суші, до якого вели звивисті сходинки, що ведуть до першого розвідного мосту. На заході захист забезпечували також гарматні порти, розташовані по зубчастому периметру, і подвійна бастіонна стіна. Первісне ядро замку (маскіо або донжон) було розташоване на найвищій частині мису, біля вежі Теналья, а шлях до нього захищали ще три підйомні мости. У 1575 році Бенвенуто Тортореллі запропонував побудувати обвідну стіну з боку моря, виявивши слабке місце в обороні замку. Приблизно через століття, у 1670 році, інженер королівського двору Франческо Антоніо Піккіатті вказав на необхідність термінових ремонтних робіт, включаючи реставрацію парапету Балюардо делле Даме та підпірної стіни, розташованої вище, відомої як Стендардо. У 18 столітті замок зазнав численних подій, які сприяли його пошкодженню: протягом тридцяти років його окупували австрійські війська, потім він пережив нові облоги під час короткого періоду Неаполітанської республіки і ще одну коротку окупацію французькими військами Жозефа Бонапарта. Після відвоювання Бурбонами приморську фортецю було укріплено, а для солдатів збудовано нові казарми. У 1887 році військовий гарнізон замку остаточно припинив свою функцію укріплення для захисту флегрейського узбережжя, і з цього часу почався етап повільного занепаду з постійними переходами права власності від однієї адміністрації до іншої. Під час Першої світової війни форт використовувався для утримання військовополонених, тому на терасі вежі Теналья були зведені високі стіни, щоб створити огорожу. У 1926 році Висока комісія провінції та муніципалітету Неаполя отримала від Управління державного майна дозвіл на використання замку як місця розташування великого інституту для дітей-сиріт війни, тож протягом трьох років були проведені значні роботи, які докорінно змінили будівлю, змінивши, а подекуди і знищивши сліди споруд, зведених у попередні століття. У 1975 році замок також перестав використовуватися як сиротинець і повернувся у власність Управління державного майна, яке у 1984 році передало його тодішньому Археологічному управлінню провінцій Неаполь і Казерта, яке запропонувало використовувати його як спеціалізований археологічний музей Флегрейської області. Зрештою, з 1993 року він став місцем розташування Археологічного музею Флегрейських полів, який складається з шести топографічних секцій, присвячених відповідно Кумам, Путеолі, Ріоне Террі, Літернуму, Байї та Місенуму, розділених на п'ятдесят шість музейних кімнат.