Aragon Kalesi, 15. yüzyılın sonunda Alfonso d'Aragona tarafından Pozzuoli Körfezi'ni Mağribi akınlarına karşı savunmak amacıyla, hem sık sık gerçekleşen Sarazen akınlarına karşı geçerli bir savunma sağlamak hem de kraliyet egemenliğini devirmek için sık sık birleşen yerel baronların inatçı düşmanlığına karşı koymak amacıyla güney İtalya genelinde yürütülen geniş bir tahkimat sistemi inşa programının bir parçası olarak inşa edilmiştir. Savunma sistemini güçlendirmeye yönelik kapsamlı program, birbirine organik olarak bağlı bir dizi tahkimat olarak düşünülmüştü; bu nedenle düşman filolarının karaya çıkmasını engellemek için özellikle kıyı boyunca (Gaeta, Mondragone, Ischia, Baia ve Pozzuoli'de) kaleler inşa edildi. Tarihçi Riccardo Filangieri, hükümdarın mimar Francesco di Giorgio Martini'nin tavsiyelerinden yararlanarak Miseno'dan Nisida'ya kadar olan geniş girişi savunmak için Baia'da bir tahkimat inşa ettirdiğini bildirmektedir. Aragon döneminde inşa edilen ve daha sonra İspanyol genel valiliğinin sonraki on yıllarında askeri tekniklerde getirilen yenilikleri takiben radikal bir şekilde dönüştürülen kalenin orijinal mimarisinden bugün hiçbir iz kalmamıştır. Aragonlular tarafından yarım bırakılan binanın güçlendirilmesi daha sonra Vali Pedro Alvarez de Toledo tarafından gerçekleştirilmiştir. 1538 yılında Monte Nuovo patlaması nedeniyle kale hasar gördüğünde, Don Pedro tarafından emredilenlerle birlikte binanın ilkel mimari görünümünün kesin olarak kaybolmasına yol açan kapsamlı bir restorasyon çalışması gerektirmiştir. Bununla birlikte, 1539 tarihli bir gravürde, dörtgen planlı, çok yüksek mazgallı bir kalenin, yine mazgallı köşe kuleleriyle takviye edilmiş bir perde duvarla çevrili, sivri tabanlı ve kare planlı olduğu görülmektedir. Yeni yapı organizması güneye doğru önemli ölçüde genişletilmiş, doğrudan tüflü kaya kıyısına dayanan güçlü duvarlarla inşa edilmiş ve bu da ona bugün hala sahip olduğu görünümü vermiştir. Kalenin mevcut planı uzundur ve burnun doğu yamacına paralel uzanmaktadır. Kuzey-batıda, tabanındaki burcun şekli nedeniyle Torre Tenaglia olarak bilinen gözetleme kulesinin ileri konumu; karşı köşelerde, güneyde, güney-doğudaki burcun denize erişimin kontrolüne izin verdiği, güney-batıdaki burcun ise ilk asma köprüye giden dolambaçlı bir merdivenle karadan girişin savunmasını sağladığı diğer iki burç bulunmaktadır. Batıda, mazgallı çevre boyunca yer alan top ağızları ve çift burçlu bir duvarla da koruma sağlanmıştır. Kalenin orijinal çekirdeği (maschio veya donjon) bunun yerine burnun en yüksek kısmında, Tenaglia Kulesi'nin yakınında bulunuyordu ve buraya giden yol üç asma köprüyle daha korunuyordu. 1575 yılında Benvenuto Tortorelli, kalenin savunmasında zayıf bir nokta tespit ederek deniz tarafında bir çevre duvarı inşa edilmesini önermiştir. Yaklaşık bir asır sonra, 1670 yılında, Kraliyet Sarayı mühendisi Francesco Antonio Picchiatti, Baluardo delle Dame'nin korkuluğunun ve Stendardo olarak bilinen yukarıdaki istinat duvarının restorasyonu da dahil olmak üzere acil bakım çalışmalarını belirtmiştir. 18. yüzyılda kale, hasar görmesine katkıda bulunan çok sayıda olaydan etkilenmiştir: otuz yıl boyunca Avusturya birlikleri tarafından işgal edilmiştir; daha sonra kısa süren Napoliten Cumhuriyeti döneminde yeni kuşatmalara maruz kalmış ve Joseph Bonaparte'ın Fransız birlikleri tarafından kısa bir süre daha işgal edilmiştir. Bourbonların yeniden fethinden sonra deniz kenarındaki kale güçlendirilmiş ve askerler için yeni odalar inşa edilmiştir. 1887 yılında, kalenin askeri garnizonu nihayet Phlegraean kıyı şeridinin savunulması için bir tahkimat olarak işlevini sona erdirdi, böylece o zamandan itibaren mülkiyetin bir yönetimden diğerine sürekli olarak devredildiği yavaş bir gerileme aşaması başladı. Birinci Dünya Savaşı sırasında kale savaş esirlerini tutmak için kullanılmış, bu nedenle Tenaglia Kulesi'nin terasına yüksek duvarlar örülerek bir muhafaza alanı oluşturulmuştur. 1926 yılında İl Yüksek Komisyonu ve Napoli Belediyesi, Devlet Mülkiyet Ofisi'nden kalenin Savaş Yetimleri için büyük bir enstitü alanı olarak kullanılmasını sağladı, böylece üç yıl içinde binayı kökten dönüştüren, önceki yüzyıllarda inşa edilen yapıların izlerini değiştiren ve bazen iptal eden önemli çalışmalar yapıldı. 1975 yılında kalenin yetimhane olarak kullanılmasına da son verilmiş ve mülkiyeti Devlet Mülkiyet Ofisi'ne geri dönmüştür. 1984 yılında ise kale, Phlegraean bölgesinin özel bir arkeoloji müzesi olarak kullanılmasını öneren Napoli ve Caserta illerinin Arkeoloji Müfettişliği'ne tahsis edilmiştir. Nihayet 1993 yılından bu yana, sırasıyla Cumae, Puteoli, Rione Terra, Liternum, Baia ve Misenum'a adanmış altı topografik bölümden oluşan ve elli altı müze odasına ayrılan Phlegraean Alanları Arkeoloji Müzesi'nin merkezi haline gelmiştir