Det kejserliga palatset är stadens viktigaste civila monument. Det byggdes under första hälften av 1700-talet med ingången mot Piazza Grande (numera Piazza Garibaldi) och bidrog därmed till att förändra stadens stadsplanering, som successivt expanderade längs den nuvarande Corso XX Settembre. Palatset byggdes på uppdrag av Michele Imperiali, en adelsman av genuesiskt ursprung, som efter att ha förvärvat fögderierna i grannstäderna Francavilla, Oria, Avetrana och sedan Manduria lät bygga ett eget palats i var och en av dessa orter. Palatset i Manduria byggdes som ett jaktslott, troligen efter ritningar av arkitekten Mauro Manieri från Lecce. Det har en bred fasad i tre våningar på utsidan, som skiljs åt av en kraftig balkong som omges av ett originaljärnräcke. I fasadens hörn finns två vapensköldar inramade av kartuscher med de kejserliga familjernas heraldiska vapen. Palatsets interiör har ett karakteristiskt atrium, där kejsarprinsen brukade underhålla gästerna under varma sommarkvällar.
