Hindi kalayuan sa simbahan ng parokya ay may isang kastilyo na dating kumandante ng Teutonic Knights order at unang nabanggit noong 1273. Ang pangunahing istraktura ay dapat na itinayo sa paligid ng 1200 nang si Friedrich ng Ptuj, ministerial ng Salzburg, ay nagmamay-ari ng lupain sa paligid ng Velika Nedelja sa tulong ng utos ng mga kabalyero ng Aleman. Ang castle medieval core ay napanatili sa timog-kanlurang bahagi ng gusali ng kastilyo, bagaman ang mga elemento ng gusali ng Renaissance ay nanaig. Ang mga pamamaraan ng pagpapanumbalik na sumunod sa pagtatayo ng it, at lalo na ang mga isinagawa sa pagitan ng 1723 at 1730, ay hindi malaki ang nagbago sa labas ng hitsura ng kastilyo. Ang isang Baroque na rin na may isang korona na bakal na bakal at aparato sa pagmamaneho ay napanatili sa bakuran ng kastilyo.
Ang kapilya ng kastilyo na ginamit upang maglagay ng mga sikat na iskultura ng Gothic ng St. Catherine, St. Barbara at Pietà mula sa unang quarter ng ika-15 siglo. Ang mga ito ay bunga ng statuary art workshop na itinatag sa paligid ng 1400 sa site ng gusali ng pilgrimage church sa Ptujska gora. Ngayon ang nabanggit na mga estatwa ay itinatago sa kastilyo ng Ptuj. Ang isang kalidad na estatwa, na ngayon ay itinayo muli sa pader ng kastilyo sa panloob na bakuran, ay ang kaluwagan ng amerikana ng mga braso na kabilang sa komtur Marquard von Eckh mula 1612. Sa kastilyo mayroong dalawang mga eksibisyon na ipinapakita: koleksyon ng etnolohikal at eksibisyon na si Velika Nedelja sa mga siglo.