La Angioino castell és a l'est de la ciutat i data del segle 14 tot i que s'ha experimentat grans canvis, incorporacions i renovacions des.
El primer pla del castell va ser quadrangle, però Aragonès, a continuació, afegir una paret amb una poligonal pla, reforçats amb torres cilíndriques a les cantonades. Aquest treball es va portar a terme el disseny de Sienese arquitecte Francesco di Giorgio Martini (1439-1501). Més obres a l'espanyol de l'edat d'incloure l'edifici de la 'Torre de Guaita', quan el Castell va prendre una forma quadrangular amb cims reforçat per quatre torres. Una cinquena torre de planta circular va ser llavors aixecat per defensar-se d'atacs des del mar a principis del segle 16. El castell es va mantenir sense canvis fins a la segona meitat del segle 19 quan, a la zona cap a la ciutat, el fossat es va omplir i els arcs que sostenen el pont llevadís van ser enterrats.
Avui, Gallipoli Castell encara té aquesta base quadrada i de quatre torres a les cantonades: la cinquena torre, durant els mesos d'estiu, s'utilitza com a sala de cinema, mentre exposicions i altres esdeveniments culturals que s'organitzen a les grans sales.