Wzgórze było zamieszkane już od V tysiąclecia p. n. e.mieszkańcy starożytnego Petowionu zbudowali na wzgórzu twierdzę i kapliczki, a we wczesnym średniowieczu było słowiańskie miejsce pochówku. Średniowieczna twierdza sięga XIV wieku, kiedy zamek i miasto były własnością arcybiskupa Salzburga. Arcybiskupi podarowali zamek panom Ptuj, którzy założyli klasztory dominikańskie i mniejszościowe oraz zbudowali Sanktuarium Ptuj hora podczas ich trzysetowego pobytu w Ptuj. Nagrobek ostatniego Lorda Ptuj, Fryderyka IX, zbudowany jest na parterze zamku. W latach 1656-1802 hrabiowie Leslie mieszkali w zamku. Ostatni właściciele, hrabiowie Herberstein, posiadali Zamek w latach 1873-1945, kiedy został znacjonalizowany i przyłączony do Muzeum Ptuj z bogatym wystrojem. Dziś w Zamku Ptuj znajdują się najczęściej odwiedzane i reprezentatywne zbiory Muzeum Regionalnego Ptuj-Ormoż: Broń, Instrumenty Muzyczne, tradycyjne maski karnawałowe, kolekcja feudalnej Kultury mieszkaniowej, obrazy na szkle i Galeria Zamkowa.
