Om de stad te beschermen, kozen koning Ferdinand I van Napels en zijn zoon Alfonso, toen de Ottomanen Otranto innamen (1480), het eiland Sant ' Andrea als een ideale plek om de toegang van de zee tot de stad te controleren. Ze bezetten bijna het hele eiland om het kasteel te bouwen, ook wel alfonsino genoemd, of "zeekasteel", dat met Filips II van Hapsburg (16de eeuw) onneembaar werd dankzij de drie bastions en de hoge en dikke muren. Na afwisselende gebeurtenissen waarbij het een ziekenhuis, vuurtoren, huis en militair garnizoen werd, is het fort tijdelijk gesloten voor renovatiewerkzaamheden (naar verwachting zal het in 2019 weer opengaan: kijk op hun website om te zien of het dat wel is), maar bezoek het eiland nog steeds. Zelfs gewoon bewonderen het is een ongelooflijk gevoel: bij zonsondergang, de tuff steen waarmee het werd gebouwd neemt op een roodachtige kleur die maakt het charmant, zo veel dat Voor velen dit gewoon de "rode kasteel.”
