Brdo je naseljeno još od V tisućljeća prije Krista. e. stanovnici drevnog Petoviona izgradili su tvrđavu i svetišta na brdu, AU ranom srednjem vijeku bilo je slavensko mjesto ukopa. Srednjovjekovna tvrđava datira iz 11. stoljeća, kada su dvorac i grad bili u vlasništvu nadbiskupa Salzburga. Nadbiskupi su dali dvorac Gospodinu Ptuj, koji su osnovali Dominikanski i manjinski samostani i izgradili svetište Ptujska Gora tijekom svog trogodišnjeg boravka u Ptuj. Nadgrobni spomenik posljednjeg Gospodina Ptuj, Friedrich IX, izgrađen je na prvom katu dvorca. Između 1656. i 1802. godine, grofovi Leslie živjeli su u dvorcu. Najnoviji vlasnici, grofovi Herbersteina, posjedovali su dvorac između 1873.i 1945. godine, kada je nacionaliziran i priključen Muzeju Ptuj sa svojim bogatim dekorom. Danas u dvorcu Ptuj nalaze se najposjećenije i reprezentativne zbirke regionalnog muzeja Ptuj-Omož: oružje, Glazbeni instrumenti, tradicionalne karnevalske maske, zbirka feudalne stambene kulture, staklene slike i galerija dvorca.
