Az Angioino-kastély a város keleti részén található, a 14. századból származik, bár azóta jelentős változásokon, kiegészítéseken és felújításokon ment keresztül.
A vár első terve négyszög volt, de az aragóniaiak ezután egy sokszögű falat adtak hozzá, amelyet a sarkokban hengeres tornyokkal erősítettek meg. Ezt a munkát Francesco Di Giorgio Martini (1439-1501) Sienese építész tervezésére végezték. A spanyol kor további munkái közé tartozik a "kilátó" építése,amikor a kastély négyszögletes alakú volt, négy toronyval megerősítve. Ezután egy ötödik kör alakú tornyot állítottak fel, hogy megvédjék a tenger támadásait a 16.század elején. A vár a 19. század második feléig változatlan maradt, amikor a város felé vezető területen az árok megtelt, és a felvonóhídot támogató íveket eltemették.
A Gallipoli kastély ma is rendelkezik ezzel a téralappal és négy toronnyal a sarkoknál: az ötödik tornyot a nyári hónapokban moziként használják, míg a nagy termekben kiállításokat és egyéb kulturális rendezvényeket szerveznek.
