Para proteger a cidade, os soberanos Aragoneses, o rei Fernando I de Nápoles e seu filho Alfonso, quando os otomanos tomaram Otranto (1480), escolheram a ilha de Sant'Andrea como um lugar ideal para controlar o acesso do mar à cidade. Eles ocuparam quase toda a ilha para construir o castelo, também chamado alfonsino, ou "castelo do mar", que com Filipe II de Hapsburg (século XVI) tornou-se inexpugnável graças aos três bastiões e as paredes altas e grossas. Depois de eventos alternados que o viram tornar-se um hospital, farol, casa e guarnição militar, o forte está temporariamente fechado para trabalhos de renovação (espera-se que reabra até 2019: verifique seu site para ver se ele tem), mas ainda visitar a ilha. Mesmo apenas admirando - o é um sentimento incrível: ao pôr-do-sol, a pedra tuff com que foi construída assume uma cor avermelhada que o torna charmoso, tanto que para muitos este é simplesmente o "castelo vermelho.”
