Kullen har varit bebodd sedan femte årtusendet f.Kr.invånarna i antika Petovion byggde en fästning och helgedomar på kullen, och under den höga medeltiden fanns en slavisk begravningsplats. Den medeltida fästningen går tillbaka till XI-talet, när slottet och staden ägdes av ärkebiskopen i Salzburg. Ärkebiskoparna gav slottet till herrarna av Ptuj, som grundade Dominikanska och minoritets kloster och byggde helgedomen Ptujska Gora under deras tre hundraåriga vistelse i Ptuj. Gravstenen till den siste Herren av Ptuj, Frederick IX, är byggd på bottenvåningen i slottet. Mellan 1656 och 1802 bodde Leslies öron i slottet. De sista ägarna, grevarna av Herberstein, ägde slottet mellan 1873 och 1945, när det nationaliserades och bifogades Ptuj-museet med sin rika inredning. Idag hus Ptuj Slott de mest besökta och representativa samlingar av Ptuj-Ormož Regional Museum: vapen, musikinstrument, traditionella karneval masker, en samling av feodala bostadskultur, glasmålningar och slottet galleri.
