Die Burg von Angioino befindet sich im Osten der Stadt und stammt aus dem 14. Jahrhundert, obwohl sie seither größere Veränderungen, Ergänzungen und Renovierungen erfahren hat.
Der erste Grundriss der Burg war viereckig, aber die Aragonier fügten dann eine Mauer mit polygonalem Grundriss hinzu, die an den Ecken mit zylindrischen Türmen befestigt war. Diese Arbeiten wurden nach dem Entwurf des sienesischen Architekten Francesco di Giorgio Martini (1439-1501) ausgeführt. Zu den weiteren Werken der spanischen Epoche gehört der Bau des "Aussichtsturms", als die Burg eine viereckige Form annahm, deren Gipfel durch vier Türme verstärkt wurden. Zu Beginn des 16. Jahrhunderts wurde dann ein fünfter runder Turm zur Verteidigung gegen Angriffe vom Meer aus errichtet. Die Burg blieb bis in die zweite Hälfte des 19. Jahrhunderts unverändert, als im Bereich zur Stadt hin der Wassergraben zugeschüttet und die Bögen, die die Zugbrücke stützten, verschüttet wurden.
Noch heute hat das Schloss Gallipoli diesen quadratischen Grundriss und vier Türme an den Ecken: Der fünfte Turm wird in den Sommermonaten als Filmtheater genutzt, während in den großen Sälen Ausstellungen und andere kulturelle Veranstaltungen organisiert werden.