El Palau Imperial és el monument civil més important de la ciutat. Va ser construït a la primera meitat del segle XVIII, amb una entrada orientada cap a la Piazza Grande (avui Piazza Garibaldi) i així va contribuir a canviar l'urbanisme de la ciutat que es va anar ampliant progressivament al llarg de l'actual Corso XX Settembre. El palau va ser construït per ordre de Michele Imperiali, un noble d'origen genoves, que després d'haver adquirit els feus de les ciutats properes de Francavilla, Oria, Avetrana i, per tant, Manduria, va fer construir el seu propi palau en cadascun d'aquests centres. . El de Manduria es va construir com a pavelló de caça, molt probablement a partir d'un projecte de l'arquitecte lecces Mauro Manieri. A l'exterior, té una gran façana de tres plantes, separades per un robust balcó que també està envoltat per una barana de ferro original. A les cantonades de la façana hi ha dos escuts emmarcats per cartutxos amb les armes heràldiques de les famílies imperials. L'interior del palau té un atri característic, on el príncep imperial solia entretenir els hostes les càlides nits d'estiu.