Ang burol ay pinanahanan mula pa noong ikalimang milenyo BC.ang mga naninirahan sa sinaunang Petovion ay nagtayo ng isang kuta at dambana sa burol, at sa High Middle Ages mayroong isang libing na Slavic. Ang kuta ng medieval ay nagsimula noong XI siglo, nang ang kastilyo at lungsod ay pag-aari ng Archbishopric ng Salzburg. Ibinigay ng mga Archbishops ang kastilyo sa mga panginoon ng Ptuj, na nagtatag ng mga monasteryo ng Dominican at minorya at itinayo ang santuario ng Ptujska gora sa kanilang tatlong daang taong pananatili sa Ptuj. Ang lapida ng huling Panginoon ng Ptuj, Frederick IX, ay itinayo sa ground floor ng kastilyo. Sa pagitan ng 1656 at 1802, ang mga Earl ng Leslie ay nanirahan sa kastilyo. Ang mga huling may-ari, ang mga bilang ng Herberstein, ay nagmamay-ari ng kastilyo sa pagitan ng 1873 at 1945, nang ito ay nasyonalisado at isinama sa Museum of Ptuj kasama ang mga mayamang kasangkapan. Ngayon, inilalagay ng Ptuj Castle ang pinaka-binisita at kinatawan ng mga koleksyon ng Ptuj-Ormož Regional Museum: mga sandata, mga instrumento sa musika, tradisyonal na maskara ng karnabal, isang koleksyon ng pyudal na kultura ng tirahan, mga kuwadro na salamin at gallery ng kastilyo.