Kopec bol obývaný od piateho tisícročia pred naším letopočtom.obyvatelia starovekého Petovionu postavili na kopci pevnosť a svätyne a vo vysokom stredoveku tu bolo slovanské pohrebisko. Stredoveká pevnosť sa datuje do XI storočia, kedy hrad a mesto boli vo vlastníctve arcibiskupstva Salzburgu. Arcibiskupi dali hrad Ptujským pánom, ktorí založili Dominikánske a menšinové kláštory a počas svojho trojstoročného pobytu v Ptuji postavili svätyňu Ptujska Gora. Na prízemí hradu je postavený Náhrobný kameň posledného Pána Ptuja Fridricha IX. V rokoch 1656 až 1802 žili na hrade Grófovia z Leslie. Posledný majitelia, grófovia Herberstein, vlastnili hrad v rokoch 1873 až 1945, keď bol znárodnený a pripojený k Múzeu Ptuj s bohatým vybavením. V súčasnosti sa v zámku Ptuj nachádzajú najnavštevovanejšie a reprezentatívne zbierky Regionálneho múzea Ptuj-Ormož: zbrane, hudobné nástroje, tradičné karnevalové masky, zbierka feudálnej rezidenčnej kultúry, maľby na sklo a Zámocká galéria.
