Kopec je osídlen od pátého tisíciletí před naším letopočtem.obyvatelé starověkého Petovionu postavili na kopci pevnost a svatyně a ve vrcholném středověku bylo slovanské pohřebiště. Století, kdy hrad a město vlastnilo arcibiskupství Salcburské. Arcibiskupové dali hrad pánům z Ptuj, kteří založili Dominikánské a minoritní kláštery a během svého třísetletého pobytu v Ptuj postavili svatyni Ptujska Gora. V přízemí hradu je postaven náhrobek posledního Pána Ptuj Fridricha IX. V letech 1656 až 1802 žili na zámku hraběte z Leslie. Poslední majitelé, hrabě Herberstein, vlastnili zámek v letech 1873 až 1945, kdy byl znárodněn a připojen k muzeu Ptuj s bohatým vybavením. Dnes, Ptuj Castle domy nejnavštěvovanější a reprezentativní sbírky Ptuj-Ormož Regionální Muzeum: zbraně, hudební nástroje, tradiční karnevalové masky, kolekce feudální bytové kultury, skleněné obrazy a hradní galerie.
