Pentru a proteja orașul, suveranii aragonezi, Regele Ferdinand I al Napoli și fiul său Alfonso, când otomanii au luat Otranto (1480), au ales Insula Sant ' Andrea ca un loc ideal pentru a controla accesul de la mare la oraș. Ei au ocupat aproape întreaga insulă pentru a construi castelul, de asemenea, numit de baryx, sau "castelul de pe mare," care cu Filip al II-lea de Habsburg (al 16-lea) a devenit necucerit datorită celor trei bastioane și înalte și ziduri groase. După alternarea evenimentelor care l-au văzut devenind spital, far, casă și garnizoană militară, fortul este închis temporar pentru lucrări de renovare (este de așteptat să se redeschidă până în 2019: verificați site-ul lor web pentru a vedea dacă are), dar vizitați încă Insula. Chiar și doar admirarea este un sentiment incredibil: la apusul soarelui, piatra de tuf cu care a fost construită capătă o culoare roșiatică care o face fermecătoare, atât de mult încât pentru mulți acesta este pur și simplu "castelul roșu.”
