Sekitar 1270 zweder i van Zuylen van Abcoude membangun sebuah berdiri bebas terus situs mengangkat dan parit. Bangunan Militer ini tingginya sekitar 11 meter dan memiliki dinding setebal 2,5 meter. Kemudian di lantai tambahan dan sayap perumahan dengan Aula Besar ditambahkan. Sampai awal abad ke-15 Kastil Duurstede dimiliki oleh keluarga Van Zuylen van Abcoude, ketika mereka dipaksa untuk menjualnya kepada para uskup Utrecht yang menyimpannya sampai tahun 1580. Dari 1459 sampai 1496 Kastil berisi administrasi dan Arsip Keuskupan Utrecht dan berfungsi sebagai kediaman uskup David dari Burgundy. Dia membangun kembali dan membentengi Kastil dan menjadikannya benteng persegi dengan sayap perumahan di sekitar halaman persegi panjang dengan 4 menara bundar di sudutnya. Keep lama menjadi inti dari salah satu sayap baru. Uskup memiliki tempat tinggalnya di menara besar 'Burgundi'. Pekerjaan tanah harus melindungi kastil dan bailey-nya dari serangan musuh. Bailey memiliki jembatan angkat. Dari tahun 1517 Kastil Duurstede dihuni oleh Uskup Philip dari Burgundy, saudara tiri David. Dia menjaga istana seperti raja Renaisans sejati dan mulai memperindah Kastil. Ketika dia selesai 2 sayap perumahan telah dibangun kembali dan dilengkapi dengan jendela yang sangat besar. Pada saat ini kastil berisi sekitar 57 kamar yang lebih besar dan lebih kecil. Setelah kematiannya, kastil itu dihuni oleh Juru Sita dan rumah tangga menghilang, juga karena Kaisar Romawi Suci; Charles V, mengambil kekuatan sekuler dari para uskup. Setelah 1580 Kastil Duurstede jatuh ke negara bagian Utrecht. Tetapi karena pada tahun 1577 benteng kota Wijk bij Duurstede telah dimulai, bailey harus memberi jalan. Negara Bagian Utrecht tidak punya uang untuk memelihara kastil sehingga perlahan-lahan rusak. Dan setelah pasukan Prancis menghancurkan kota pada tahun 1672, penduduk Kota memperbaiki rumah mereka dan tembok kota dengan batu dari Kastil. Pada tahun 1852 dewan kota menjadi pemilik kastil dan mengubah benteng di sekitar kastil menjadi Taman. Sampai sekitar tahun 1925 Kastil hanya bisa dicapai dengan sedikit Feri. Menara 'Burgundi' telah dipugar dan Kastil sekarang digunakan oleh perusahaan katering. Anda dapat memiliki makan malam, pesta dan pernikahan di Kastil. Ketika saya pertama kali mengunjungi Kastil Duurstede ada pernikahan yang sedang berlangsung sehingga saya tidak bisa masuk. Lain waktu itu sedang direnovasi dengan perancah dan semua. Jadi saya masih harus kembali sekali.