Dealul a fost locuit încă din mileniul al cincilea î.hr.locuitorii vechiului Petovion au construit o cetate și altare pe deal, iar în Evul Mediu Înalt a existat un loc de înmormântare Slav. Cetatea medievală datează din secolul al XI-lea, când castelul și orașul erau deținute de Arhiepiscopia Salzburgului. Arhiepiscopii au dat castelul Lorzilor din Ptuj, care au fondat mănăstirile Dominicane și minoritare și au construit sanctuarul Ptujska Gora în timpul șederii lor de trei sute de ani în Ptuj. Piatra funerară a ultimului Domn din Ptuj, Frederic al IX-lea, este construită la parterul castelului. Între 1656 și 1802, conții lui Leslie au locuit în castel. Ultimii proprietari, conții de Herberstein, au deținut Castelul între 1873 și 1945, când a fost naționalizat și anexat Muzeului Ptuj cu mobilierul său bogat. Astăzi, Castelul Ptuj găzduiește cele mai vizitate și reprezentative colecții ale Muzeului Regional Ptuj-Ormož: arme, instrumente muzicale, măști tradiționale de carnaval, o colecție de cultură rezidențială feudală, picturi pe sticlă și galeria castelului.
