No muy lejos de la iglesia parroquial hay un castillo que fue la Comandancia de la orden de los Caballeros Teutónicos y que se menciona por primera vez en 1273. La estructura básica debió de construirse en torno al año 1200, cuando Friedrich de Ptuj, ministro de Salzburgo, tomó posesión de las tierras que rodean Velika Nedelja con la ayuda de la orden de los caballeros alemanes. El núcleo medieval del castillo se ha conservado en la parte suroeste del edificio, aunque prevalecen los elementos constructivos renacentistas. Los procedimientos de restauración que siguieron a su construcción, y especialmente los realizados entre 1723 y 1730, no alteraron considerablemente el aspecto exterior del castillo. En el patio del castillo se conserva un pozo barroco con corona de hierro forjado y dispositivo de conducción.
La capilla del castillo albergaba las famosas esculturas góticas de Santa Catalina, Santa Bárbara y la Piedad del primer cuarto del siglo XV. Son el resultado del taller de arte estatuario que se fundó alrededor del año 1400 en la obra de la iglesia de peregrinación de Ptujska Gora. En la actualidad, dichas estatuas se conservan en el castillo de Ptuj. Una estatua de calidad, ahora construida de nuevo en la muralla del castillo en el patio interior, es el relieve del escudo de armas perteneciente al komtur Marquard von Eckh de 1612. En el castillo se exhiben dos exposiciones: la colección etnológica y la exposición Velika Nedelja a través de los siglos.
