Njegov trenutni izgled oblikuje se po nalogu Vojvode Francesca i d'estea, koji je u Moderna 1634.naredio arhitekti Bartolomeu Avanziniju da drevni porodični dvorac pretvori u modernu i urbanu rezidenciju za dvor. Zidne slike, štukaturne dekoracije, skulpture i fontane i dalje prenose osećaj ovog "zadovoljstva" koji je dugo ostao na marginama znanja i prisustva javnosti. Nakon dugogodišnje vojne uprave i složenih restauratorskih radova, 2004.godine palata je konačno predata Ministarstvu kulturne baštine i aktivnosti i turizma. Porijeklo zgrade je izgubljeno u legendi i vjerovatno datira iz vremena Matilde od Kanosse. U trećem veku dokumentovan je kao šef porodice Della Rosa, sve do osvajanja Este (1373): to će biti Markiz Ferrara (kasnije vojvoda) Borso d'este da promoviše prva dela pretvorbe utvrđenog imanja u sudsku rezidenciju, od kojih se sećamo izgubljenih freski koje su naručile Agnolo i Bartolomeo degli Erri. Tokom šesnaestog veka, nakon razmene teritorija, zgrada je bila domena Piusa Carpi i umetnika kao što su Nicolo Dell'abate (u izgubljenom stanu Orlando) i Domenico Carnevali (od kojih fragmenti freski opstaju u sobi Kancelarije). Još jednom posjed vojvodstva Este, koje je u međuvremenu prenijelo glavni grad iz Ferrare u Modenu, dvorac je postao strateško mjesto za novu politiku koju je promovirao Francesco i d'este, koji je pretvorbu u baroknu palatu paralelno s transformacijom zamka este Modena u kolosalnu vojvodsku palatu grada. Tim umjetnika pozvan da radi vojvoda radi ukupno reinterpretacija okruženja u ključ otvaranja na svjetlo i podnožju krajolika: ugaone kule se pretvaraju u panoramske terase i unutrašnje dvorište u slikovit prostor naseljen gigant rijeke božanstvo dizajnirao Gian Lorenzo Bernini i Antonio Raggi, i otvoren prema selu Sassuolo kroz arkade sa tri zateturana lukova koji daju iluziju simetrije na novi barokne fasade zgrade. Pod vodstvom arhitekte Avanzinija i scenografa Gasparea Vigaranija rađaju se bizarni izumi poput Peschiere ("Fontanazzo") uz trg, i plastifikatori i gipsari poput Lattanzio Maschio, Luca Colombi, rad Giovannija Lazzonija, koji daju oblik skulpturama atrija, stepenište časti, stan u obliku. Ali to je tim slikara zove Francis i da se postigne najsloženijih i rafiniranih rezultata. Salone delle Guardia dvostruke visine je vrhunska iluzionistička mašina koju su izmislila dva najveća italijanska stručnjaka, Agostino Mitelli i Angelo Michele Colonna, kako bi proslavili pokroviteljstvo ove u oblasti umjetnosti, književnosti, muzike i historiografije. Galerija Bacchus jedinstvena je postavka, koju su ukrasili kvadraturisti (Gian Giacomo Monti i Baldassarre Bianchi) i stručnjaci za miran život (Pier Francesco I Carlo Cittadini) kako bi bili domaćin izuzetnog ciklusa priča o Bacchusu koji je freskovan byean u Sassuolo Boulanger dodiruje visine svojih poetika, također ukrašavajući apartmane vojvode i vojvotkinje svojim klasicističkim manirima bogatim francuskim i nordijskim odjecima, u punoj simbiozi sa sretnom samo-čestitkom naracije rezidencije este. Propadanje palate započinje njenim rekviziranjem u Napoleonovo doba, a zatim prodajom grofu d'armazitu de Sahuguet d'espagnac, poglavlju koje takođe označava početak disperzije na tržištu njegovog namještaja i zbirki (počevši od mramora "garderobe Alphonsa i d'estea, poznate renesanse koju je Antonio Lombardo izvršio za dvorac Ferrara, zatim dugo sačuvan u Sassuolu, a sada je gotovo završio u zaključavanju u Muzeju Ermitažnjaka u Sankt Peterburgu). Godine 1917.zgrada je privremeno postala kasarna, zatim sjedište kompanije bellentani za preradu mesa i kobasica. Povratak u javne ruke, 1941.godine bilo je suđeno da bude podružnica sjedišta povijesne Vojne akademije Modene, donedavno predati Ministarstvu kulturne baštine i aktivnosti i turizma.