Angioino-slottet ligger øst for byen og stammer fra det 14.århundrede, selvom det har gennemgået store ændringer, tilføjelser og renoveringer siden.
Den første plan af slottet var quaduadrangle, men Aragoneserne tilføjede derefter en mur med en polygonal plan, befæstet med cylindriske tårne i hjørnerne. Dette arbejde blev udført til design af den Sienesiske arkitekt Francesco di Giorgio Martini (1439-1501). Yderligere værker i den spanske tidsalder inkluderer bygningen af 'udkigstårnet', da slottet tog en firkantet form med topmøder styrket af fire tårne. Et femte cirkulært tårn blev derefter rejst for at forsvare sig mod angreb fra havet i begyndelsen af det 16.århundrede. Slottet forblev uændret indtil anden halvdel af det 19.århundrede, da, i området mod byen, voldgraven blev udfyldt, og buerne, der understøttede vindebroen, blev begravet.
I dag har Gallipoli Slot stadig denne firkantede base og fire tårne i hjørnerne: det femte tårn bruges i sommermånederne som biograf, mens udstillinger og andre kulturelle begivenheder arrangeres i de store haller.