Bakken har været beboet siden det femte årtusinde f.kr.indbyggerne i det gamle Petovion byggede en fæstning og helligdomme på bakken, og i Højmiddelalderen var der et slavisk gravsted. Den middelalderlige fæstning går tilbage til centuryi århundrede, da slottet og byen blev ejet af ærkebispedømmet Sal .burg. Ærkebiskopperne gav slottet til herrer i Ptuj, der grundlagde de dominikanske og mindretal klostre og byggede helligdommen i Ptujska Gora under deres tre hundrede års ophold i Ptuj. Gravstenen til den sidste Lord of Ptuj, Frederick I., er bygget i stueetagen af slottet. Mellem 1656 og 1802 boede Leslie ' s jarler på slottet. De sidste ejere, greverne af Herberstein, ejede slottet mellem 1873 og 1945, da det blev nationaliseret og annekteret til Ptuj-museet med dets rige møbler. I dag, Ptuj Slottet huser de mest besøgte, og som er repræsentative samlinger af Ptuj-Ormož Regionale Museum: våben, musikinstrumenter, traditionelle karnevalsmasker, en samling af feudale bolig kultur, glas, malerier og slottet galleri.