Palácio Imperial é o monumento civil mais importante da cidade. Foi construído na primeira metade do século XVIII, com a entrada virada para a Piazza Grande (actual Piazza Garibaldi) e contribuiu assim para alterar o traçado urbano da cidade, que se expandiu gradualmente ao longo do que é hoje o Corso XX Settembre. O palácio foi construído a mando de Michele Imperiali, um nobre de origem genovesa, que, após adquirir os feudos das cidades vizinhas de Francavilla, Oria, Avetrana e depois Manduria, mandou construir o seu próprio palácio em cada um destes centros. O de Manduria foi construído como um pavilhão de caça, muito provavelmente segundo um projecto do arquitecto de Lecce Mauro Manieri. Tem uma ampla fachada de três andares no exterior, separada por uma varanda robusta que é rodeada por um gradeamento de ferro original. Nos cantos da fachada estão dois brasões emoldurados por cartuchos com os braços heráldicos das famílias Imperiais. O interior do palácio tem um átrio característico, onde o Príncipe Imperial costumava entreter os convidados nas noites quentes de Verão.
