Холм был заселен еще с V тысячелетия до н. э. жители Древнего Петовиона построили на холме крепость и святыни, а в раннем средневековье было славянское место захоронения. Средневековая крепость восходит к 11 веку, когда замок и город были собственностью архиепископа Зальцбурга. Архиепископы подарили замок господам Птуй, которые основали доминиканский и миноритический монастыри и построили святилище Птуйска гора во время их трехсотлетнего пребывания в Птуй. Надгробие последнего лорда Птуя, Фридриха IX, построено на первом этаже замка. Между 1656 и 1802 годами графы Лесли жили в замке. Последние владельцы, графы Герберштейна, владели замком между 1873 и 1945 годами, когда он был национализирован и присоединен к музею Птуй с его богатым декором. Сегодня в замке Птуй находятся самые посещаемые и представительные коллекции регионального музея Птуй-Ормож: оружие, музыкальные инструменты, традиционные карнавальные маски, коллекция феодальной жилой культуры, картины на стекле и галерея замка.