Tepe, M.Ö. beşinci binyıldan beri iskan edilmiştir.antik Petovion sakinleri tepede bir kale ve türbeler inşa ettiler ve Orta Çağ'da Slav bir mezar yeri vardı. Ortaçağ kalesi, kale ve kentin Salzburg Başpiskoposluğu'na ait olduğu XI. Yüzyıla kadar uzanmaktadır. Başpiskoposlar kaleyi, Dominik ve azınlık manastırlarını kuran ve Ptuj'da üç yüz yıllık kaldıkları süre boyunca Ptujska Gora'nın kutsal alanını inşa eden Ptuj Lordlarına verdiler. Ptuj'un son Lordu Frederick Ix'un mezar taşı kalenin zemin katında inşa edilmiştir. 1656-1802 yılları arasında Leslie'nin Kontları kalede yaşıyordu. Son sahipleri olan Herberstein kontları, 1873-1945 yılları arasında kamulaştırılıp zengin mobilyalarıyla Ptuj Müzesi'ne eklendiğinde kaleye sahipti. Bugün Ptuj Kalesi, Ptuj-Ormož Bölge Müzesi'nin en çok ziyaret edilen ve temsili koleksiyonlarına ev sahipliği yapmaktadır: silahlar, müzik aletleri, geleneksel karnaval maskeleri, feodal yerleşim kültürü koleksiyonu, cam tablolar ve kale galerisi.
