Пагорб був заселений ще з V тисячоліття до н. е. жителі Стародавнього Петовіона побудували на пагорбі фортецю і святині, а в ранньому середньовіччі було слов'янське місце поховання. Середньовічна фортеця сходить до 11 століття, коли замок і місто були власністю архієпископа Зальцбурга. Архієпископи подарували замок панам Птуй, які заснували Домініканський і міноритичний монастирі і побудували святилище Птуйська гора під час їх трьохсотлітнього перебування в Птуй. Надгробок останнього лорда Птуя, Фрідріха IX, побудовано на першому поверсі замку. Між 1656 і 1802 роками графи Леслі жили в замку. Останні власники, графи Герберштейна, володіли замком між 1873 і 1945 роками, коли він був націоналізований і приєднаний до музею Птуй з його багатим декором. Сьогодні в замку Птуй знаходяться найбільш відвідувані і представницькі колекції регіонального музею Птуй-Ормож: зброя, Музичні інструменти, традиційні карнавальні маски, колекція феодальної житлової культури, картини на склі і галерея замку.
