Sekitar 1270 zweder i van Zuylen van Abcoude membina sebuah tapak bebas di tapak yang dibangkitkan dan terapung. Bangunan tentera ini adalah kira-kira 11 meter tinggi dan mempunyai dinding tebal 2,5 meter. Kemudian di lantai tambahan dan sayap kediaman dengan Dewan besar ditambahkan. Sehingga awal abad ke-15 Istana Duurstede dirasuki oleh keluarga Van Zuylen van Abcoude, ketika mereka terpaksa menjualnya kepada para uskup Utrecht yang menyimpannya hingga tahun 1580. Dari tahun 1459 hingga 1496 istana ini mengandungi pentadbiran dan arkib keuskupan Utrecht dan berfungsi sebagai kediaman uskup David dari Burgundy. Dia membina semula dan membentengi istana dan menjadikannya kubu kuat persegi dengan sayap kediaman di sekitar halaman segi empat dengan 4 menara bulat di sudutnya. The keep lama menjadi teras salah satu sayap baru. Uskup mempunyai tempat tinggalnya di menara 'Burgundian' yang hebat. Kerja tanah harus melindungi istana dan bailey dari serangan musuh. Bailey mempunyai jambatan. Dari tahun 1517 istana Duurstede dihuni oleh uskup Philip dari Burgundy, saudara tiri Daud. Dia menjaga pengadilan seperti raja renaissance sejati dan mulai memperindah istana. Apabila dia selesai 2 sayap kediaman telah dibina semula dan disediakan dengan tingkap yang sangat besar. Pada masa ini istana mengandungi sekitar 57 bilik yang lebih besar dan lebih kecil. Selepas kematiannya, istana ini dihuni oleh seorang bailif dan rumah tangga itu hilang, juga kerana Maharaja Rom Suci; Charles V, merampas kuasa sekular dari para uskup. Selepas tahun 1580 istana Duurstede jatuh ke negeri Utrecht. Tetapi kerana pada tahun 1577 Kubu kota Wijk bij Duurstede telah dimulai, bailey harus memberi jalan. Negeri-Negeri Utrecht tidak mempunyai wang untuk mengekalkan istana sehingga perlahan-lahan jatuh ke dalam pembusukan. Dan setelah tentera Perancis menghancurkan kota itu pada tahun 1672, penduduk kota memperbaiki rumah mereka dan tembok kota dengan batu dari Istana. Pada tahun 1852 dewan bandar menjadi pemilik istana dan mengubah kubu di sekitar istana menjadi taman. Sehingga sekitar tahun 1925 istana hanya boleh dicapai dengan feri kecil. Menara 'Burgundian' telah dipulihkan dan istana kini digunakan oleh sebuah syarikat katering. Anda boleh makan malam, pesta dan majlis perkahwinan di istana. Apabila saya mula-mula melawat Duurstede Castle terdapat perkahwinan yang berlaku supaya saya tidak dapat masuk. Lain kali ia diubahsuai dengan perancah dan semua. Jadi saya masih perlu kembali sekali.