Δεν απέχει πολύ από την ενοριακή εκκλησία υπάρχει ένα κάστρο που ήταν η διοίκηση του Τευτονικού Τάγματος των Ιπποτών και αναφέρθηκε για πρώτη φορά το 1273. Η βασική δομή πρέπει να χτίστηκε γύρω στο 1200 όταν ο Friedrich του Ptuj, υπουργικός του Σάλτσμπουργκ, κατέλαβε τη γη γύρω από τη Velika Nedelja με τη βοήθεια του Τάγματος των Γερμανών ιπποτών. Ο μεσαιωνικός πυρήνας του κάστρου έχει διατηρηθεί στο νοτιοδυτικό τμήμα του κτιρίου του Κάστρου, Αν και κυριαρχούν τα αναγεννησιακά δομικά στοιχεία. Οι διαδικασίες αποκατάστασης που ακολούθησαν την κατασκευή του, και ιδιαίτερα εκείνες που πραγματοποιήθηκαν μεταξύ 1723 και 1730, δεν αλλοίωσαν σημαντικά την εξωτερική εμφάνιση του κάστρου. Ένα μπαρόκ πηγάδι με κορώνα από σφυρήλατο σίδερο και συσκευή οδήγησης έχει διατηρηθεί στην αυλή του κάστρου.
Το παρεκκλήσι του κάστρου στεγάζει διάσημα Γοτθικά γλυπτά της Αγίας Αικατερίνης, της Αγίας Βαρβάρας και της Pietà από το πρώτο τέταρτο του 15ου αιώνα. Είναι το αποτέλεσμα του εργαστηρίου τέχνης αγαλμάτων που ιδρύθηκε γύρω στο 1400 στο εργοτάξιο της εκκλησίας προσκυνήματος στην Ptujska Gora. Σήμερα τα προαναφερθέντα αγάλματα φυλάσσονται στο κάστρο Ptuj. Ένα ποιοτικό άγαλμα, που τώρα χτίστηκε εκ νέου στο τείχος του κάστρου στην εσωτερική αυλή, είναι το ανάγλυφο του οικόσημου που ανήκει στον Komtur Marquard von Eckh από το 1612. Στο κάστρο εκτίθενται δύο εκθέσεις: εθνολογική συλλογή και έκθεση Velika Nedelja μέσα στους αιώνες.
