La colina ha estado habitada desde el quinto milenio antes de Cristo. Los habitantes de la antigua Petovione construyeron una fortaleza y santuarios en la colina, y a principios de la Edad Media había un lugar de enterramiento eslavo. La fortaleza medieval data del siglo XI, cuando el castillo y la ciudad eran propiedad del arzobispado de Salzburgo. Los arzobispos cedieron el castillo a los Señores de Ptuj, que fundaron monasterios dominicos y menoritas y construyeron el santuario de Ptujska Gora durante su estancia de trescientos años en Ptuj. En la planta baja del castillo se encuentra la lápida del último señor de Ptuj, Federico IX. Entre 1656 y 1802, los condes de Leslie vivieron en el castillo. Los últimos propietarios, los condes de Herberstein, poseyeron el castillo entre 1873 y 1945, cuando fue nacionalizado y anexionado al Museo de Ptuj con su rico mobiliario. En la actualidad, el castillo de Ptuj alberga las colecciones más visitadas y representativas del Museo Regional de Ptuj-Ormož: armas, instrumentos musicales, máscaras tradicionales de carnaval, una colección de cultura residencial feudal, pinturas sobre vidrio y la galería del castillo.
