Oko 1270 Zweder i van Zuylen van Abcoude izgradio Samostojeći zadržati na podignutom i moated stranice. Ova vojna zgrada bila je visoka oko 11 metara i imala je zidove debljine 2,5 metara. Kasnije su na dodatnom spratu i dodato rezidencijalno krilo sa velikom dvoranom. Do početka 15. vijeka dvorac Duurstede posjedovao je porodica Van Zuylen van Abcoude, kada su ga bili prisiljeni prodati biskupima Utrechta koji su ga držali do 1580.godine. Od 1459.do 1496. godine dvorac je sadržavao administraciju i arhivu Eparhije Utrechta i služio je kao rezidencija biskupa Davida od Burgundije. Obnovio je i učvrstio dvorac i učinio ga kvadratnim uporištem sa stambenim krilima oko pravougaonog dvorišta sa 4 okrugla tornja na njegovim uglovima. Stara tvrđava postala je jezgro jednog od novih krila. Biskup je imao svoje stambene prostore u velikoj' burgundskoj ' kuli. Zemljani radovi morali su zaštititi dvorac i njegov bailey od neprijateljskih napada. Bailey je imao pokretni most. Od 1517. godine D ORAC Duurstede bio je naseljen biskupom Filipom Burgundijskim, polubratom Davidom. Držao je dvor kao pravi renesansni kralj i počeo ukrašavati dvorac. Kada je završio 2 Stambena krila su obnovljena i dobili izuzetno velike prozore. U ovom trenutku dvorac sadrži oko 57 veće i manje sobe. Nakon njegove smrti dvorac je bio naseljen izvršitelj i domaćinstva nestao, i zato što je car Svetog Rimskog carstva; Karlo V, oduzeo sekularna sila od biskupa. Nakon 1580. godine dvorac Duurstede pao je u države Utrecht. Ali zato što je 1577. godine utvrđenje grada Wijk bij Duurstede počelo, bailey je morao napraviti put. Države Utrecht nisu imale novca za održavanje dvorca pa je polako propadalo. I nakon što su francuske trupe devastirale grad 1672. godine, građani su popravili svoje kuće i gradske zidine kamenjem iz zamka. Gradsko vijeće je 1852.godine postalo vlasnik dvorca i pretvorilo utvrđenja oko dvorca u park. Do oko 1925. godine do dvorca se moglo doći samo s malo trajekta. 'Burgundski' toranj je obnovljena, a dvorac se sada koristi od strane ugostiteljske firme. Možeš imati večere, zabave i vjenčanja u dvorcu. Kada sam prvi put posjetio dvorac Duurstede bilo je vjenčanje događa tako da nisam mogao ući. Drugi put je renoviran sa skelama i sve. Tako da se još jednom moram vratiti.