Жителите на древния Петовион построили на хълма крепост и светилища, а в ранното средновековие имало славянско гробище. Средновековната крепост датира от 11 век, когато замъкът и градът са били собственост на архиепископа на Залцбург. Архиепископы надарени заключване господари Птуй, които основали доминиканската и миноритический манастири и построили светилището на Птуйска планина по време на триста престоя си в Птуй. Надгробният камък на последния лорд Птуй, Фридрих IX, е построен на първия етаж на замъка. Между 1656 и 1802 г.графовете на Лесли живеят в замъка. Последните собственици, графовете на Герберщайн, притежават замъка между 1873 и 1945 г., когато е национализиран и прикрепен към Музея Ptui с богатия си декор. Днес в замъка Птуй са най-посещавани и представителни колекции на регионален исторически музей-Птуй-Ормож: оръжие, музикални инструменти, традиционни карнавални маски, колекция феодална жилищна култура, картини върху стъкло и галерия на замъка.
