Brdo je naseljeno od petog milenija p.n. e.stanovnici drevnog Petoviona izgradili su tvrđavu i hramove na brdu, a u srednjem vijeku je bilo slavensko pogrebno mjesto. Srednjevjekovna tvrđava datira još iz XI stoljeća, Kad su zamak i grad bili u vlasništvu nadbiskupije iz Salzburga. U Archbishops dao zamak Gospodari Ptuj, koji je osnovao u Dominikanskoj i manjine samostana i izgradio svetilište Ptujska Gora tokom svojih tristo godina ostati u Ptuj. Nadgrobni spomenik posljednjeg Gospodara Ptuja Fredericka IX-a izgrađen je na prizemlju dvorca. Između 1656 i 1802, grofovi Leslie su živjeli u dvorcu. Zadnji vlasnici, do tačke Herberstein, vlasnik zamak između 1873 i 1945, kada je nacionalizirao i istočno u Muzej ptuju sa svojim bogatim nameštaj. Danas, Ptuj Zamak kuće najviše posjetio je i predstavnik kolekcije od Ptuj-Ormož Regionalnog Muzeja: oružje, glazbene instrumente, tradicionalna karneval maske, kolekciju feudalni stambena kulture, čašu slike i zamak galeriji.
