Het Angioino-Aragonese kasteel, onbetwistbare protagonist van het Gaetano panorama, dateert uit de zesde eeuw. De naam is te wijten aan de bevleesdheid van het kasteel, bestaande uit twee verschillende gebouwen, vandaag de dag communiceren, gebouwd door respectievelijk de Angevin dynastie en de Aragonese in twee verschillende historische moments.It het is niet gemakkelijk om terug te gaan naar de periode toen het kasteel van Gaeta werd gebouwd. Het werd waarschijnlijk gebouwd in de zesde eeuw tijdens de oorlog van de goten of in de zevende eeuw toen de maritieme gebieden van Lazio en Campanië het voorwerp waren van de expansieve doelstellingen van de Lombarden. In Gaetan documenten van die periode beginnen we te verwijzen naar Gaeta met de appellation of" Kastrum ". Een aantal berichten over het bestaan van het kasteel van Gaeta zijn ten tijde van Frederik II van Swabia, die gedurende de periode van de strijd met het pausdom meerdere malen in Gaeta verbleef en, door zijn strategische positie te voelen, in 1223 het kasteel daar vestigde.