Nu departe de biserica parohială se află un castel care a fost Comandamentul Ordinului Cavalerilor Teutoni și a fost menționat pentru prima dată în 1273. Structura de bază trebuie să fi fost construită în jurul anului 1200, când Friedrich de Ptuj, ministerial de Salzburg, a intrat în posesia terenului din jurul Velika Nedelja cu ajutorul Ordinului Cavalerilor germani. Nucleul medieval al castelului a fost păstrat în partea de sud-vest a clădirii castelului, deși predomină elementele de construcție renascentiste. Procedurile de restaurare care au urmat construcției sale, și mai ales cele întreprinse între 1723 și 1730, nu au modificat considerabil aspectul exterior al castelului. În curtea castelului s-a păstrat un puț baroc cu coroană din fier forjat și dispozitiv de conducere.
Caterina, Barbara și Pietà din primul sfert al secolului al XV-lea. Ele sunt rezultatul atelierului de artă statuară care a fost fondat în jurul anului 1400 pe șantierul bisericii de pelerinaj din Ptujska Gora. În prezent, Statuile menționate mai sus sunt păstrate în castelul Ptuj. O statuie de calitate, construită acum din nou în zidul castelului din curtea interioară, este relieful stemei aparținând komtur Marquard von Eckh din 1612. În castel sunt expuse două expoziții: colecția etnologică și expoziția Velika Nedelja de-a lungul secolelor.