Tidak jauh dari Gereja Paroki ada sebuah kastil yang digunakan untuk menjadi komando dari Ksatria Teutonik dan pertama kali disebutkan dalam 1273. Struktur dasar pasti dibangun sekitar 1200 ketika Friedrich dari Ptuj, ministential dari Salzburg, mengambil kepemilikan tanah di sekitar Velika Nedelja dengan bantuan perintah ksatria Jerman. Inti benteng abad pertengahan telah diawetkan dalam bagian selatan barat dari bangunan benteng, meskipun unsur bangunan Renaisans berlaku. Prosedur restorasi yang mengikuti konstruksinya, dan terutama yang dilakukan antara tahun 1723 dan 1730, tidak secara signifikan mengubah penampilan luar kastil. Sebuah Baroque baik dengan mahkota besi tempa-dan mengemudi telah diawetkan di halaman kastil.
Kapel istana digunakan untuk rumah patung Gothic terkenal St Catherine, St Barbara dan Pietà dari kuartal pertama abad ke-15. Mereka adalah hasil dari bengkel patung yang didirikan sekitar 1400 di lokasi pembangunan Gereja Ziarah Di Ptujska Gora. Sekarang patung-patung yang disebutkan di atas disimpan di Istana Ptuj. Sebuah patung berkualitas, sekarang dibangun baru di dinding kastil di halaman dalam, adalah bantuan dari mantel senjata milik komtur Marquard von Eckh dari 1612. Di istana ada dua pameran: etnological collection dan pameran Velika Nedelja selama berabad-abad.
