Oko 1270.godine Zveder i van Zuilen van Abkude sagradio samostojeću tvrđavu na povišenom i opkopanom mjestu. Ova vojna zgrada bila je visoka oko 11 metara i imala je zidove debljine 2,5 metra. Kasnije je dodan dodatni kat i stambeno krilo s velikom dvoranom. Do početka 15.stoljeća dvorac Duurstede bila je u vlasništvu obitelji Van Zuilen van Abcoude, kada su bili prisiljeni prodati ga biskupima iz Utrechta, koji su ga držali do 1580. Od 1459.do 1496. u dvorcu su se nalazili uprava i arhiva biskupije Utrecht, kao i sjedište burgundskog biskupa Davida. Obnovio je i ojačao dvorac i pretvorio ga u četvrtastu tvrđavu sa stambenim gospodarstvima oko pravokutnog dvorišta s 4 kružne kule na uglovima. Stara tvrđava postala je jezgra jednog od novih krila. Biskup je svoje stambene prostore smjestio u veliku" burgundsku " kulu. Zemljani bedem trebao je zaštititi dvorac i njegovo dvorište od neprijateljskih napada. U dvorištu je bio pokretni most. Od 1517. godine u dvorcu Durstede živio je burgundski biskup Filip, Davidov polubrat. Održavao je dvor poput pravog renesansnog kralja i počeo ukrašavati dvorac. Kad je završio, obnovljena su 2 Stambena krila i opremljena izuzetno velikim prozorima. U to je vrijeme dvorac imao oko 57 većih i manjih soba. Nakon njegove smrti, u dvorcu je živio ovršitelj, a domaćinstva su nestala, između ostalog i zato što je sveti rimski car Karl Alinsin biskupima oduzeo svjetovnu vlast. Nakon 1580.dvorac Duurstede prešao je u države Utrecht. No kako je 1577. godine započelo utvrđivanje grada veik bij Duurstede, Bailee je morao popustiti. Države Utrecht nisu imale novca za održavanje dvorca, pa je polako propadao. A nakon što su francuske snage opustošile grad 1672.godine, građani su obnovili svoje kuće i gradske zidine kamenjem iz dvorca. 1852. Gradsko vijeće preuzelo je vlasništvo nad dvorcem i pretvorilo utvrde oko dvorca u park. Do otprilike 1925.dvorac je bio dostupan samo malim trajektom. Kula "Burgundija" obnovljena je, a dvorac sada koristi ugostiteljska tvrtka. U dvorcu se mogu organizirati večere, zabave i vjenčanja. Kad sam prvi put posjetio dvorac Durstede, tamo je bilo vjenčanje, tako da nisam mogao ući. Drugi put je popravljen skelama i svime. Dakle, još uvijek se moram vratiti jednom.