Não muito longe da Igreja Paroquial há um castelo que costumava ser o comando da ordem dos Cavaleiros Teutônicos e foi mencionado pela primeira vez em 1273. A estrutura básica deve ter sido construída por volta de 1200 quando Frederico de Ptuj, ministro de Salzburgo, tomou posse do estado em torno de Velika Nedelja com a ajuda da ordem dos cavaleiros alemães. O núcleo medieval do castelo foi preservado na parte sudoeste do edifício do Castelo, embora os elementos do edifício Renascentista prevaleçam. Os procedimentos de restauração que se seguiram à sua construção, e especialmente os realizados entre 1723 e 1730, não alteraram consideravelmente a aparência exterior do Castelo. Um poço Barroco com uma coroa de ferro forjado e um dispositivo de condução foi preservado no pátio do Castelo.
A Capela do Castelo abrigava Esculturas góticas famosas de Santa Catarina, Santa Bárbara e Pietà desde o primeiro quarto do século XV. Eles são o resultado da oficina de arte Estatuária que foi fundada por volta de 1400 no local de construção da Igreja de peregrinação em Ptujska Gora. Hoje em dia, as estátuas acima mencionadas são mantidas no Castelo de Ptuj. Uma estátua de qualidade, agora construída de novo na parede do castelo no pátio interior, é o relevo do brasão de armas pertencente ao Marquês de Komtur von Eckh de 1612. No castelo há duas exposições em exposição: coleção Etnológica e exposição Velika Nedelja através dos séculos.
