Per proteggere la città, i sovrani aragonesi, il re Ferdinando I di Napoli e suo figlio Alfonso, quando gli Ottomani presero Otranto (1480), scelsero l'isola di Sant'Andrea come luogo ideale per controllare l'accesso dal mare alla città. Occuparono quasi tutta l'isola per costruire il castello, chiamato anche alfonsino, o "castello di mare", che con Filippo II d'Asburgo (XVI secolo) divenne inespugnabile grazie ai tre bastioni e alle alte e spesse mura. Dopo alterne vicende che lo hanno visto diventare ospedale, faro, casa e presidio militare, il forte è temporaneamente chiuso per lavori di ristrutturazione (si prevede la riapertura entro il 2019: consultate il loro sito web per vedere se l'ha fatto), ma visitate comunque l'isola. Anche solo ammirarlo è una sensazione incredibile: al tramonto, la pietra di tufo con cui è stato costruito assume un colore rossastro che lo rende affascinante, tanto che per molti questo è semplicemente il "castello rosso".
