הגבעה מיושבת מאז האלף החמישי לפנה " ס.תושבי פטוביון העתיקים בנו מבצר ומקדשים על הגבעה, ובימי הביניים היה מקום קבורה סלאבי. המבצר מימי הביניים מתוארך למאה ה-XI, כאשר הטירה והעיר היו בבעלות הארכיבישופות של זלצבורג. הארכיבישופים מסרו את הטירה ללורדים של פטוי, שייסדו את המנזרים הדומיניקנים והמיעוט ובנו את המקדש של פטויסקה גורה במהלך שהותם של שלוש מאות שנים בפטוי. המצבה של הלורד האחרון של פטוי, פרדריק התשיעי, בנויה על קומת הקרקע של הטירה. בין 1656 ל-1802 חיו רוזני לסלי בטירה. הבעלים האחרונים, רוזני הרברשטיין, היו הבעלים של הטירה בין 1873 ל-1945, כאשר היא הולאמה וסופחה למוזיאון פטוי עם הריהוט העשיר שלה. כיום, הטירה Ptuj בתים האוספים הפופולריים ביותר נציג של המוזיאון האזורי Ptuj-Ormož: נשק, כלי נגינה, מסכות קרנבל מסורתיות, אוסף של תרבות מגורים פיאודלית, ציורי זכוכית וגלריית הטירה.
