הארמון של הדוג ' ה היה קודם לכל ביצורים שהחלו בשנת 1125 על ידי מודנסי, ואז נכבש על ידי המנטואנים שסיימו את הבנייה. בשנת 1332 הוענק ללואיג 'י גונזגה ולאחר מכן ירש אותו לודוביקו השני, אשר בשנת 400' הופקד בידיו של לוקה פאנצ ' לי, אדריכל-פסל, המשימה של הפיכתו למגורים יוקרתיים. ב-700 הועבר הארמון לבית הבסבורג, אז ספג את המצור על הכוחות הנפוליאוניים בסוף המאה ה-18 ונשאר תחת שלטון צרפתי עד 1814. מהקונגרס של וינה ואילך הבניין נותר לאוסטרים. דמותו המקורית של הארמון היא הנוכחות של הארובות הגבוהות של הסגנון הוונציאני והחצר, עם מרכז באר יפה, המוקפת באכסדרה עם עמודים ובירות.