Palatul Imperial este cel mai important monument civil al orașului. A fost construit în prima jumătate a secolului al XVIII-lea, cu intrarea orientată spre Piazza Grande (în prezent Piazza Garibaldi) și a contribuit astfel la schimbarea configurației urbane a orașului, care s-a extins treptat de-a lungul a ceea ce este astăzi Corso XX Settembre. Palatul a fost construit la cererea lui Michele Imperiali, un nobil de origine genoveză, care, după ce a achiziționat fiefurile orașelor învecinate Francavilla, Oria, Avetrana și apoi Manduria, și-a făcut construi propriul palat în fiecare dintre aceste centre. Cel din Manduria a fost construit ca o cabană de vânătoare, cel mai probabil după un proiect al arhitectului Mauro Manieri din Lecce. Are o fațadă mare de trei etaje în exterior, separată de un balcon robust, care este înconjurat de o balustradă originală din fier. La colțurile fațadei se află două steme încadrate de cartușe cu armele heraldice ale familiilor imperiale. Interiorul palatului are un atrium caracteristic, în care Prințul Imperial obișnuia să își primească oaspeții în serile călduroase de vară.
