Njegov sedanji videz se oblikuje po ukazu vojvode Francesca I d ' Este, ki je v Moderna 1634 naročil arhitektu Bartolomeu Avanziniju, da starodavni družinski grad spremeni v sodobno in urbano rezidenco za Dvor. Stenske poslikave, štukaturni okraski, skulpture in fontane še vedno izražajo občutek tega "užitka", ki je že dolgo ostal na robu znanja in prisotnosti javnosti. Po dolgih letih vojaške uprave in zapletenih restavratorskih del je bila palača leta 2004 dokončno predana Ministrstvu za kulturno dediščino in dejavnosti ter turizem.
Izvor stavbe je izgubljen v legendi in verjetno sega v čas Matilde iz Canosse. V tretjem stoletju je dokumentiran kot fevd družine Della Rosa, vse do osvojitve Este (1373): Markiz Ferrara (kasneje vojvoda) Borso d ' Este bo promoviral prva dela preoblikovanja utrjenega dvorca v dvorno rezidenco, od katerih se spominjamo izgubljenih fresk, naročenih Agnolo in Bartolomeo degli Erri. V šestnajstem stoletju je bila stavba po izmenjavi ozemelj domena Pija Carpija in umetnikov, kot sta Nicolo Dell ' Abate (v izgubljenem stanovanju Orlanda) in Domenico Carnevali (od katerih so fragmenti fresk preživeli v sobi Kanclerstva). Ponovno posest Vojvodine Este, ki je medtem prenesla prestolnico iz Ferrare v Modeno, je grad postal strateški sedež nove politike, ki jo je spodbujal Francesco I d ' Este, ki je vzporedno s preoblikovanjem gradu este v Modeni izvedel pretvorbo v baročno palačo v kolosalno vojvodsko palačo mesta. Ekipa umetnikov, ki jo je vojvoda poklical k delu, dela popolno reinterpretacijo okolij v ključu odpiranja svetlobi in vznožju pokrajine: vogalni stolpi so preoblikovani v panoramske terase in notranje dvorišče v slikovitem prostoru, naseljenem z velikanskim rečnim božanstvom, ki sta ga zasnovala Gian Lorenzo Bernini in Antonio Raggi, in odprt proti vasi Sassuolo skozi arkade s tremi razporejenimi loki, ki dajejo iluzijo simetrije novi baročni fasadi stavbe. Pod vodstvom arhitekta Avanzinija in scenografa Gaspareja Vigaranija se rodijo bizarni Izumi, kot je Peschiera ("Fontanazzo"), ki meji na trg, in plastiki in ometavci, kot so Lattanzio Maschio, Luca Colombi, Giovanni Lazzoni delo, ki daje obliko skulpturam atrija, častnega stopnišča, štukaturnega stanovanja. Toda ekipa slikarjev, ki jo je Frančišek i poklical, je dosegla najbolj zapletene in izpopolnjene rezultate. Salone delle Guardia z dvojno višino je vrhunski iluzionistični stroj, ki sta ga izumila dva največja italijanska strokovnjaka, Agostino Mitelli in Angelo Michele Colonna, da bi proslavila pokroviteljstvo este na področju umetnosti, literature, glasbe in zgodovinopisja. Galerija Bacchus je edinstvena postavitev, ki so jo okrasili kvadraturisti (Gian Giacomo Monti in Baldassarre Bianchi) in strokovnjaki za tihožitje (Pier Francesco in Carlo Cittadini), da bi gostili izjemen cikel zgodb Bacchus, ki jih je poslikal bjean v sassuolu Boulangerju, se dotakne višin svoje poetike, prav tako okrasi stanovanja vojvode in vojvodinje s svojim klasicističnim načinom, bogatim s francoskimi in nordijskimi odmevi, v popolni simbiozi z srečno samo-čestitko pripovedi o rezidenci este. Propad palače se začne z rekvizicijo v Napoleonovi dobi in nato s prodajo grofu D 'armazitu De Sahuguet d' espagnacu, poglavju, ki označuje tudi začetek razpršitve opreme in zbirk na trgu (začenši s frnikolami "alabastrskih garderob" Alfonsa I d ' Este, znamenitih renesančnih mojstrovin, ki jih je Antonio Lombardo izvedel za grad Ferrara, nato dolgo ohranjen v Sassuolu in zdaj skoraj končan v zaklepanju v Muzeju Hermitage v Sankt Peterburgu). Leta 1917 je stavba začasno postala vojašnica, nato sedež podjetja za predelavo mesa in klobas bellentani. Leta 1941 je bil v javnih rokah namenjen hčerinskemu sedežu zgodovinske vojaške akademije v Modeni, ki je bil do nedavnega predan Ministrstvu za kulturno dediščino in dejavnosti ter turizem.
Top of the World