Bukit telah dihuni sejak milenium kelima SM.para penduduk Petovion kuno membangun benteng dan kuil di atas bukit, dan di Abad Pertengahan ada tempat pemakaman Slavia. The benteng abad pertengahan tanggal kembali ke abad XI, ketika Kastil dan kota dimiliki oleh Archbishopric dari Salzburg. Pejabat-pejabat itu memberikan kastil untuk penguasa Ptuj, yang mendirikan Dominika dan minoritas biara-biara Ptujska selama tiga ratus tahun tinggal di Ptujska. Batu nisan Tuhan terakhir Ptuj, Frederick IX, dibangun di lantai dasar Istana. Antara 1656 dan 1802, Earl Leslie tinggal di Kastil. Pemilik terakhir, jumlah Herberstein, memiliki istana antara tahun 1873 dan 1945, ketika itu dinonalisasi dan annexed ke Museum Ptuj dengan perabot kaya. Hari ini, rumah-rumah Ptuj Castle yang paling dikunjungi dan mewakili koleksi dari Ptuj-Ormožiæ Museum Daerah: senjata, Instrumen Musik, masker karnaval tradisional, koleksi budaya feodal, lukisan kaca dan galeri Kastil.