O Palacio Imperial é o monumento civil máis importante da cidade. Foi construído na primeira metade do século XVIII, cunha entrada que daba á Piazza Grande (agora Piazza Garibaldi) e contribuíu así a modificar o planeamento urbanístico da cidade que se foi ampliando paulatinamente ao longo do actual Corso XX Settembre. O pazo foi construído por orde de Michele Imperiali, un nobre de orixe xenovesa, quen, tras adquirir os feudos das cidades próximas de Francavilla, Oria, Avetrana e, polo tanto, Manduria, fixo construír en cada un destes centros o seu propio palacio. O de Manduria foi construído como pavillón de caza, moi probablemente a partir dun proxecto do arquitecto leccese Mauro Manieri. No exterior presenta unha gran fachada de tres plantas, separadas por un robusto balcón que tamén está rodeado por unha orixinal varanda de ferro. Nas esquinas da fachada hai dous escudos enmarcados por cartuchos coas armas heráldicas das familias imperiais. O interior do palacio presenta un atrio característico, onde o príncipe imperial adoitaba entreter aos hóspedes nas cálidas noites de verán.
