1270 Civarında Zweder I van Zuylen van Abcoude, yükseltilmiş ve hendekli bir alanda bağımsız bir kale inşa etti. Bu askeri bina yaklaşık 11 metre yüksekliğinde ve 2,5 metre kalınlığında duvarlara sahipti. Daha sonra ekstra bir kat ve büyük bir salona sahip bir konut kanadı eklendi. 15. Yüzyılın başlarına kadar Duurstede Kalesi, Van Zuylen van Abcoude ailesi tarafından ele geçirildi ve onu 1580'e kadar elinde tutan Utrecht piskoposlarına satmak zorunda kaldılar. 1459'dan 1496'ya kadar kale, Utrecht piskoposluğunun yönetimini ve arşivini içeriyordu ve Burgundy piskoposu David'in ikametgahı olarak görev yapıyordu. Kaleyi yeniden inşa etti ve güçlendirdi ve köşelerinde 4 yuvarlak kuleli dikdörtgen bir avlu etrafında konut kanatlı kare bir kale yaptı. Eski kale, yeni kanatlardan birinin çekirdeği oldu. Piskoposun yaşam alanları büyük 'Burgonya' kulesi'ndeydi. Bir hafriyat kaleyi ve şatosunu düşman saldırılarından korumak zorundaydı. Bailey'nin asma köprüsü vardı. 1517'den itibaren Duurstede Kalesi, Davut'un üvey kardeşi Burgundy piskoposu Philip tarafından iskan edildi. Mahkemeyi gerçek bir rönesans kralı gibi tuttu ve kaleyi süslemeye başladı. İşi bittiğinde, 2 konut kanadı yeniden inşa edildi ve son derece büyük pencerelerle donatıldı. Bu zamanlarda kale yaklaşık 57 daha büyük ve daha küçük oda içeriyordu. Ölümünden sonra kale bir mübaşir tarafından iskan edildi ve hane halkı da ortadan kayboldu, çünkü Kutsal Roma İmparatoru Charles V, laik güçleri piskoposlardan aldı. 1580'den sonra Duurstede Kalesi Utrecht Eyaletlerine düştü. Fakat 1577'de Wijk bij Duurstede kasabasının tahkimatı başladığı için bailey yol açmak zorunda kaldı. Utrecht eyaletlerinin kaleyi korumak için parası yoktu, bu yüzden yavaş yavaş çürümeye başladı. Fransız birlikleri 1672'de kasabayı yıktıktan sonra kasaba halkı evlerini ve şehir duvarlarını kaleden taşlarla onardılar. 1852'de belediye meclisi kalenin sahibi oldu ve kalenin etrafındaki surları parka dönüştürdü. 1925 yılına kadar kaleye ancak küçük bir feribotla ulaşılabiliyordu. 'Burgonya' kulesi restore edildi ve kale artık bir catering firması tarafından kullanılıyor. Kalede akşam yemekleri, partiler ve düğünler yapabilirsiniz. Duurstede Kalesi'ni ilk ziyaret ettiğimde bir düğün vardı, o yüzden içeri giremedim. Başka bir zaman iskelelerle falan yenileniyordu. Bu yüzden hala bir kez geri dönmem gerekiyor.
