For at beskytte byen, Aragonese stater, Kong Ferdinand i af Napoli og hans søn, Alfonso, når Osmannerne tog Otranto (1480), valgte øen Sant ' andrea som et ideelt sted til at styre adgang fra havet til byen. De besatte næsten hele øen for at bygge slottet, også kaldet alfonsino, eller" sea castle", som med Philip II fra Hapsburg (16.århundrede) blev uigennemtrængelig takket være de tre bastioner og de høje og tykke mure. Efter skiftende begivenheder, der så det blive et hospital, fyrtårn, hjem og militær garnison, er fortet midlertidigt lukket for renoveringsarbejde (det forventes at åbne igen i 2019: tjek deres websiteebsted for at se, om det har), men besøg stadig øen. Selv bare at beundre det er en utrolig følelse: ved solnedgang får tuffstenen, som den blev bygget med, en rødlig farve, der gør den charmerende, så meget, at for mange er dette simpelthen Det "Røde Slot.”
