Mägi on asustatud alates viiendast aastatuhandest eKr.iidse Petovioni elanikud ehitasid mäele kindluse ja pühapaikade ning kõrge keskajal oli slaavi matmispaik. Keskaegne kindlus pärineb XI sajandist, mil loss ja linn kuulusid Salzburgi peapiiskopkonnale. Peapiiskopid andsid lossi Ptuj isandatele, kes asutasid Dominikaani ja vähemuse kloostrid ning ehitasid Ptujska Gora pühakoja oma kolmesaja-aastase viibimise ajal Ptujis. Ptuj viimase isanda Frederick IX hauakivi on ehitatud lossi esimesel korrusel. Aastatel 1656-1802 elas lossis Leslie Earls. Viimased omanikud, herbersteini krahv, omasid lossi aastatel 1873-1945, kui see natsionaliseeriti ja annekteeriti Ptuj Muuseumile oma rikkaliku sisustusega. Tänapäeval asuvad Ptuj lossis Ptuj-Ormoži piirkondliku muuseumi kõige külastatavamad ja esinduslikumad kogud: relvad, Muusikariistad, traditsioonilised karnevali maskid, feodaalse elamukultuuri kogumik, klaasimaalid ja lossi galerii.
