Ο Λόφος κατοικείται από την πέμπτη χιλιετία π.χ.οι κάτοικοι του αρχαίου Πετοβίου έχτισαν ένα φρούριο και Ιερά στο λόφο, και στον υψηλό Μεσαίωνα υπήρχε ένας Σλαβικός τόπος ταφής. Το μεσαιωνικό φρούριο χρονολογείται από τον XI αιώνα, όταν το κάστρο και η πόλη ανήκαν στην Αρχιεπισκοπή του Σάλτσμπουργκ. Οι Αρχιεπίσκοποι έδωσαν το κάστρο στους άρχοντες του Ptuj, οι οποίοι ίδρυσαν τα Δομινικανικά και μειονοτικά μοναστήρια και έχτισαν το ιερό της Ptujska Gora κατά τη διάρκεια της τριακοσίων ετών παραμονής τους στο Ptuj. Η επιτύμβια στήλη του τελευταίου Άρχοντα του Ptuj, Frederick IX, είναι χτισμένη στο ισόγειο του κάστρου. Μεταξύ 1656 και 1802, οι Earls της Leslie ζούσαν στο κάστρο. Οι τελευταίοι ιδιοκτήτες, οι counts of Herberstein, κατείχαν το κάστρο μεταξύ 1873 και 1945, όταν εθνικοποιήθηκε και προσαρτήθηκε στο Μουσείο του Ptuj με την πλούσια επίπλωση του. Σήμερα, το κάστρο Ptuj στεγάζει τις πιο επισκέψιμες και αντιπροσωπευτικές συλλογές του Περιφερειακού Μουσείου Ptuj-Ormož: όπλα, μουσικά όργανα, παραδοσιακές καρναβαλικές μάσκες, συλλογή φεουδαρχικής οικιστικής κουλτούρας, γυάλινες ζωγραφιές και γκαλερί κάστρου.
