A domb az ötödik évezred óta lakott.az ókori Petovion lakói erődöt és szentélyeket építettek a dombon, a középkorban pedig szláv temetkezési hely volt. A középkori vár a XI. századra nyúlik vissza, amikor a vár és a város Salzburg érsekségének tulajdonába került. Az érsekek a várat Ptuj urainak adták, akik megalapították a Dominikai és kisebbségi kolostorokat és felépítették Ptujska Gora szentélyét a háromszáz éves Ptuji tartózkodásuk alatt. Ptuj utolsó Urának sírköve, Frederick IX, a kastély földszintjén épült. 1656 és 1802 között Leslie grófjai laktak a kastélyban. Az utolsó tulajdonosok, Herberstein grófjai birtokolták a várat 1873 és 1945 között, amikor államosították és gazdag berendezésével a Ptuji múzeumhoz csatolták. Ma a Ptuj kastély ad otthont a Ptuj-Ormož Regionális Múzeum leglátogatottabb és legreprezentatívabb gyűjteményeinek: fegyverek, hangszerek, hagyományos karneváli maszkok, feudális lakáskultúra gyűjteménye, üvegfestmények és a kastély Galéria.
