Non loin de l'église paroissiale se trouve un château qui était autrefois la commanderie de l'ordre des chevaliers teutoniques et dont la première mention remonte à 1273. La structure de base a dû être construite vers 1200 lorsque Friedrich de Ptuj, ministre de Salzbourg, a pris possession des terres autour de Velika Nedelja avec l'aide de l'ordre des chevaliers allemands. Le noyau médiéval du château a été préservé dans la partie sud-ouest du bâtiment, bien que les éléments de construction de la Renaissance prédominent. Les procédures de restauration qui ont suivi sa construction, et surtout celles entreprises entre 1723 et 1730, n'ont pas considérablement modifié l'aspect extérieur du château. Un puits baroque avec une couronne en fer forgé et un dispositif d'entraînement a été conservé dans la cour du château.
La chapelle du château abritait les célèbres sculptures gothiques de Sainte Catherine, Sainte Barbe et Pietà du premier quart du XVe siècle. Elles sont le résultat de l'atelier d'art statuaire qui a été fondé vers 1400 sur le chantier de l'église de pèlerinage de Ptujska Gora. De nos jours, les statues susmentionnées sont conservées au château de Ptuj. Une statue de qualité, maintenant construite à nouveau dans le mur du château dans la cour intérieure, est le relief des armoiries appartenant au komtur Marquard von Eckh de 1612. Dans le château, deux expositions sont présentées : la collection ethnologique et l'exposition Velika Nedelja à travers les siècles.
