A colina tem sido habitada desde o quinto milênio a. C.os habitantes da antiga Petóvia construíram uma fortaleza e santuários na colina, e na Alta Idade Média havia um local de sepultamento Eslavo. A fortaleza medieval remonta ao século XI, quando o castelo e a cidade eram propriedade do Arcebispado de Salzburgo. Os Arcebispos deram o castelo aos senhores de Ptuj, que fundaram os mosteiros Dominicanos e minoritários e construíram o Santuário de Ptujska Gora durante sua estadia de trezentos anos em Ptuj. A lápide do último senhor de Ptuj, Frederico IX, foi construída no rés-do-chão do Castelo. Entre 1656 e 1802, Os Condes de Leslie viveram no castelo. Os últimos proprietários, os condes de Herberstein, possuíam o castelo entre 1873 e 1945, quando foi nacionalizado e anexado ao Museu de Ptuj com seus ricos móveis. Hoje, o Castelo de Ptuj abriga as coleções mais visitadas e representativas do Museu Regional de Ptuj-Ormož: armas, instrumentos musicais, máscaras de carnaval tradicionais, uma coleção de cultura residencial feudal, pinturas de vidro e a galeria do Castelo.
