Per protegir la ciutat, l'Aragonès sobirans, el Rei Ferran I de Nàpols i el seu fill Alfons, quan els Otomans van Otranto (1480), va triar l'illa de Sant'Andrea com un lloc ideal per a controlar l'accés de la mar a la ciutat. Van ocupar gairebé tota l'illa per construir el castell, també anomenat alfonsino, o "mar castell", que amb Felip II d'Habsburg (16 de segle) es va convertir en inexpugnable gràcies a les tres baluards i els alts i gruixuts murs. Després alternant esdeveniments que va convertir-se en un hospital, far, a casa i militars de la guarnició, el fort està temporalment tancat per obres de rehabilitació de treball (és d'esperar per tornar a obrir al 2019: fes la seva pàgina web per veure si hi ha), però no encara de visitar l'illa. Fins i tot admirant és una sensació increïble: al vespre, la toba pedra amb la qual es va construir pren un color vermellós que la fa bonica, tant, que per a molts això és simplement la "roja castell.”
