ארמון אגנברג בקצה מרכז העיר שוכן בתוך פארק יפה הוא הארמון הראשי, אשר הונח כאלגוריה אדריכלית של היקום. הבניין מייצג יקום מחושב במדויק. הוא הוזמן על ידי הנסיך הנס אולריך פון אגנברג משנת 1625 לגלם את משאלתו למבנה הרמוני, בתגובה לתוהו ובוהו של המאה ה-16. 365 חלונות, 31 חדרים בכל קומה, 24 חדרי מדינה עם 52 דלתות, בסך הכל, 60 חלונות, 4 מגדלי פינה - כל רמיזות לזמן, לעונות, לשבועות, ימים, שעות, דקות. סמליות מספר זו מבוססת על לוח השנה הגרגוריאני החדש אז היא התוכנית האדריכלית של הארמון. גם הציורים בפלנטנסאל (Planetensaal), שעיצובו החל בשנת 1678, מאופיינים בסמליות אסטרונומית. בציורים שעל התקרה הקצה הצייר הנס אדם וייסנקיישר את שבעת הגופים השמימיים הידועים בזמנו לימי השבוע, לאלים הרומיים, למתכות ולחברי משפחת איגנברגר, ביניהם גנרל מנצח ושליח אימפריאלי. על הקירות שנים עשר סימני גלגל המזלות להשלים את המחזה האסטרונומי על מספרים. רק מחקרים אחרונים הראו כי הנס אולריך שילב את הטירה מימי הביניים של משפחת אגנברגר בארמון החדש. הצומת של כל אלכסונים שנמשכו דרך הבניין הוא הקפלה הגותית העתיקה. באמצע המאה ה-18, יורשי משפחת אגנברגר, רוזני הרברשטיין, הפכו את התיאטרון הקודם של הארמון לכנסיית בארוק מפוארת. לכן, הקפלה הישנה כבר לא הייתה בשימוש, והתפקוד המקורי שלה נפל לתהום הנשייה. המזבח המכונף מ-1470 צומצם ל-13 הלוחות שהופללו ונמכרו לאמריקה בתחילת המאה ה-20. רק לפני כמה שנים, המזבח התגלה מחדש וחזר למקומו המקורי. שלוס אגנברג היא בלתי ניתנת להפרדה עם הפארק שלה אשר השתנה עם הטעם של הזמנים. באמצע המאה ה -19, הוא הוסב לגן הנוף של ההווה. משיכה מיוחדת היא הטווסים המטרידים ביותר. ומרחב משופץ של הפארק-Planetengarten. כמובן, זה ממשיך איקונוגרפיה של הארמון.
