Kako bi zaštitili grad, Aragonski monarsi, kralj Napulja Ferdinand I i njegov sin Alfonso, kada su Osmanlije uzeli Otranto (1480), odabrali su otok Sant Andrea kao idealno mjesto za kontrolu pristupa od mora do grada. Uzeli su gotovo cijeli otok kako bi izgradili dvorac, koji se nazivaju i alfonsino, ili "pomorski dvorac", koji je s Philip II Habsburgom (16. stoljeće) postao neprobojan zahvaljujući tri bastiona i visokim i debelim zidovima. Nakon izmjeničnih događaja koji su ga doveli do bolnice, svjetionika, kuće i vojnog garnizona, utvrda je privremeno zatvorena za popravke (očekuje se da će se ponovno otvoriti do 2019. godine: provjerite njihovu web stranicu kako biste vidjeli postoji li), ali ipak posjetite otok. Čak i samo ga diviti je nevjerojatan osjećaj: u zalasku sunca, tuf iz kojeg je izgrađen dobiva crvenkastu boju, što ga čini šarmantnim, toliko da je za mnoge to samo "Crveni dvorac".”
