Пагорак быў заселены яшчэ з V тысячагоддзя да н.э. жыхары Старажытнага Петовиона пабудавалі на ўзгорку крэпасць і святыні, а ў раннім сярэднявеччы было славянскае месца пахавання. Сярэднявечная крэпасць ўзыходзіць да 11 стагоддзю, калі замак і горад былі ўласнасцю арцыбіскупа Зальцбурга. Арцыбіскупы падарылі замак гаспадарам Птуй, якія заснавалі дамініканскі і мінарытычны манастыры і пабудавалі сьвятыню Птуйска гара падчас іх трохсотгадовага знаходжання ў Птуй. Надмагілле апошняга лорда Птуя, Фрыдрыха IX, пабудавана на першым паверсе замка. Паміж 1656 і 1802 гадамі графы Леслі жылі ў замку. Апошнія ўладальнікі, графы Герберштэйна, валодалі замкам паміж 1873 і 1945 гадамі, калі ён быў нацыяналізаваны і далучаны да музея Птуй з яго багатым дэкорам. Сёння ў замку Птуй знаходзяцца самыя наведвальныя і прадстаўнічыя калекцыі рэгіянальнага музея Птуй-Ормож: зброя, Музычныя інструменты, традыцыйныя карнавальныя маскі, калекцыя феадальнай Жылы культуры, карціны на шкле і галерэя замка.
