Kilise kilisesinden çok uzak olmayan bir yerde, eskiden Töton Şövalyeleri düzeninin Emri olan ve ilk olarak 1273'te adı geçen bir kale vardır. Temel yapı 1200 yıllarında Salzburg bakanlığına bağlı Ptuj'lu Friedrich'in Alman şövalyeler tarikatı'nın yardımıyla Velika Nedelja çevresindeki araziyi ele geçirmesiyle inşa edilmiş olmalıdır. Rönesans yapı elemanları hakim olmasına rağmen kalenin ortaçağ çekirdeği kale binasının güney-batı kesiminde korunmuştur. Yapımını izleyen restorasyon işlemleri ve özellikle 1723-1730 yılları arasında yapılan restorasyon işlemleri kalenin dış görünüşünü önemli ölçüde değiştirmemiştir. Kale bahçesinde ferforje tacı ve tahrik tertibatı olan barok bir kuyu korunmuştur.
Kale şapeli, 15. yüzyılın ilk çeyreğinden itibaren St. Catherine, St. Barbara ve Pieta'nın ünlü Gotik heykellerine ev sahipliği yapıyordu. Bunlar, Ptujska Gora'daki hac kilisesinin şantiyesinde 1400 civarında kurulan heykel sanat atölyesinin sonucudur. Günümüzde yukarıda belirtilen heykeller Ptuj kalesinde tutulmaktadır. Şimdi iç avludaki kale duvarında yeniden inşa edilen kaliteli bir heykel, 1612'den itibaren komtur Marquard von Eckh'ye ait armanın kabartmasıdır. Kalede sergilenen iki sergi var: yüzyıllar boyunca etnolojik koleksiyon ve sergi Velika Nedelja.
