Nicht weit von der Pfarrkirche entfernt befindet sich eine Burg, die einst als Komturei des Deutschen Ritterordens diente und erstmals 1273 erwähnt wurde. Die Grundstruktur muss um 1200 entstanden sein, als Friedrich von Ptuj, Ministerialrat von Salzburg, mit Hilfe des Deutschen Ritterordens das Land um Velika Nedelja in Besitz nahm. Der mittelalterliche Kern der Burg ist im südwestlichen Teil des Gebäudes erhalten geblieben, obwohl die Bauelemente der Renaissance überwiegen. Die Restaurierungsarbeiten, die nach dem Bau des Schlosses, insbesondere zwischen 1723 und 1730, durchgeführt wurden, haben das äußere Erscheinungsbild des Schlosses nicht wesentlich verändert. Im Schlosshof ist ein barocker Brunnen mit schmiedeeiserner Krone und Antriebsvorrichtung erhalten geblieben.
In der Schlosskapelle befanden sich früher die berühmten gotischen Skulpturen der Heiligen Katharina, der Heiligen Barbara und der Pietà aus dem ersten Viertel des 15. Sie sind das Ergebnis der Bildhauerwerkstatt, die um 1400 auf der Baustelle der Wallfahrtskirche auf Ptujska Gora gegründet wurde. Heutzutage werden die oben genannten Statuen im Schloss von Ptuj aufbewahrt. Eine hochwertige Statue, die jetzt neu in die Burgmauer im Innenhof eingebaut wurde, ist das Wappenrelief des Komturs Marquard von Eckh aus dem Jahr 1612. Im Schloss sind zwei Ausstellungen zu sehen: die ethnologische Sammlung und die Ausstellung Velika Nedelja im Laufe der Jahrhunderte.
