Арагонский замок был построен в конце XV века Альфонсо д'Арагона для защиты залива Поццуоли от вторжения мавров, в рамках обширной программы строительства фортификационных систем, проводившейся по всей Южной Италии с целью как обеспечения надежной защиты от частых вторжений сарацин, так и от упорного противостояния местных баронов, которые часто объединялись для свержения королевского владычества. Обширная программа по укреплению оборонительной системы была задумана как сочлененная серия укреплений, органично связанных друг с другом; опорные пункты строились в основном вдоль побережья (в Гаэте, Мондрагоне, Искье, Байе и Поццуоли), чтобы препятствовать высадке вражеского флота. Историк Риккардо Филанджери сообщает, что государь, воспользовавшись советом архитектора Франческо ди Джорджо Мартини, возвел укрепление в Байе для защиты широкого залива от Мизено до Нисиды. От первоначальной архитектуры замка сегодня не осталось и следа, поскольку он был построен в арагонский период, а затем радикально преобразован в последующие десятилетия испанского вице-королевства в соответствии с нововведениями в военной технике. Укрепление здания, оставленного арагонцами незавершенным, было проведено позднее вице-королем Педро Альваресом де Толедо, когда в 1538 году замок пострадал от извержения вулкана Монте-Нуово. Это событие потребовало проведения обширных реставрационных работ, которые, наряду с работами по приказу дона Педро, привели к окончательной утрате первобытного архитектурного облика здания. Однако он все еще представлен на гравюре 1539 года, на которой изображена очень высокая крепость с четырехгранным планом, окруженная навесной стеной, которая в свою очередь укреплена угловыми башнями, также украшенными навесной стеной, с острым основанием и квадратным планом. Новое сооружение было значительно расширено в южном направлении и построено с массивными стенами, упирающимися прямо в туфовую скалу, что придало ему тот вид, который он имеет и сегодня. Современный план форта имеет вытянутую форму и идет параллельно восточному склону мыса. На северо-западе находится передовая позиция сторожевой башни, известной как Торре Теналья, благодаря форме бастиона в ее основании; в противоположных углах, на юге, расположены два других бастиона, из которых юго-восточный позволял контролировать доступ к морю, а юго-западный обеспечивал защиту входа с суши, который проходил по извилистой лестнице, ведущей к первому разводному мосту. На западе защита также обеспечивалась орудийными портами, расположенными по периметру крепости, и двойной бастионной стеной. Первоначальное ядро замка (maschio или donjon) было расположено на самой высокой части мыса, рядом с башней Теналья, а путь, ведущий к нему, был защищен еще тремя разводными мостами. В 1575 году Бенвенуто Торторелли предложил построить окружающую стену со стороны моря, обнаружив слабое место в обороне замка. Примерно столетие спустя, в 1670 году, инженер королевского двора Франческо Антонио Пиккиатти указал на срочные ремонтные работы, включая восстановление парапета Балюардо делле Даме и подпорной стены, известной как Стендардо. В XVIII веке замок пережил множество событий, которые способствовали его разрушению: в течение тридцати лет он был оккупирован австрийскими войсками, затем пережил новые осады во время короткого периода Неаполитанской республики и еще одну короткую оккупацию французскими войсками Жозефа Бонапарта. После реконкисты Бурбонов крепость на берегу моря была укреплена, а для солдат были построены новые помещения. В 1887 году военный гарнизон крепости окончательно прекратил свою функцию укрепления для защиты флегрейского побережья, и с этого времени началась фаза медленного упадка, с постоянными переходами прав собственности от одной администрации к другой. Во время Первой мировой войны форт использовался для содержания военнопленных, поэтому на террасе башни Тенаглия были возведены высокие стены для создания ограждения. В 1926 году Высшая комиссия провинции и муниципалитет Неаполя добились от Управления государственного имущества, чтобы замок был использован в качестве места для строительства большого института для сирот войны, поэтому в течение трех лет были проведены значительные работы, которые радикально изменили здание, изменив, а иногда и уничтожив следы сооружений, построенных в предыдущие века. В 1975 году замок также перестал использоваться в качестве сиротского приюта, и право собственности вернулось к Государственному управлению имуществом, которое в 1984 году передало его тогдашнему Археологическому управлению провинций Неаполь и Казерта, предложившему использовать его в качестве специализированного археологического музея Флегрейской области. Наконец, с 1993 года здесь разместился Археологический музей Флегрейских полей, который состоит из шести топографических секций, посвященных Куме, Путеолам, Рионе Терра, Литернуму, Байе и Мизенуму, разделенных на пятьдесят шесть музейных комнат.