Istana Angioino berada di timur kota dan tanggal dari abad ke-14 meskipun telah mengalami perubahan besar, penambahan dan renovasi sejak.
Rencana pertama dari benteng itu quadrangle, tapi Aragonese kemudian menambahkan sebuah dinding dengan rencana poligonal, dijaga dengan menara silinder di sudut. Karya ini dilakukan untuk desain arsitek Sienese Francesco Di Giorgio Martini (1439-1501). Lebih lanjut bekerja di usia Spanyol termasuk pembangunan menara 'Lookout', ketika benteng mengambil bentuk quadrangular dengan summits diperkuat oleh empat menara. Sebuah menara melingkar kelima kemudian didirikan untuk mempertahankan serangan dari laut di awal abad ke-16. Kastil itu tetap tidak berubah sampai paruh kedua dari abad ke-19 ketika, di daerah menuju kota, Parit itu diisi dan lengkungan yang mendukung jembatan itu dikubur.
Hari ini, Istana Gallipoli masih memiliki dasar persegi dan empat menara di sudut: menara kelima, selama bulan-bulan musim panas, digunakan sebagai bioskop, sementara pameran dan acara-acara budaya lainnya diselenggarakan di aula besar.
