Kalnas gyvenamas nuo penktojo tūkstantmečio pr.m. e.senovės Petoviono gyventojai ant kalvos pastatė tvirtovę ir šventyklas, o aukštais viduramžiais buvo slavų laidojimo vieta. Viduramžių tvirtovė datuojama XI a., kai pilis ir miestas priklausė Zalcburgo arkivyskupijai. Arkivyskupai pilį atidavė Ptuj valdovams, kurie per tris šimtus metų buvimo Ptuj mieste įkūrė dominikonų ir mažumų vienuolynus ir pastatė ptujska Goros šventyklą. Pilies pirmame aukšte pastatytas paskutinio Ptuj valdovo Frederiko IX antkapinis paminklas. 1656-1802 m. pilyje gyveno Lesės grafai. Paskutiniai savininkai, Herberšteino grafai, valdė pilį 1873-1945 m., kai ji buvo nacionalizuota ir prijungta prie Ptuj muziejaus su savo turtingais baldais. Šiandien Ptuj pilyje yra lankomiausios ir reprezentatyviausios Ptuj-Ormož regioninio muziejaus kolekcijos: ginklai, Muzikos instrumentai, tradicinės karnavalinės kaukės, feodalinės gyvenamosios kultūros kolekcija, stiklo paveikslai ir pilies galerija.
