Близько 1270 року Зведер і ван Зуйлен ван Абкуде побудував окремо стоїть фортеця на піднесеному і оточеному ровом ділянці. Ця військова будівля була висотою близько 11 метрів і мала стіни товщиною 2,5 метра. Пізніше був прибудований додатковий поверх і житлове крило з великим залом. До початку 15 століття замком Дуурстеде володіла сім'я Ван Зуйлен ван Абкуде, коли вони були змушені продати його єпископам Утрехта, які володіли ним до 1580 року. З 1459 по 1496 рік в замку розташовувалися адміністрація і архів єпархії Утрехта, а також резиденція єпископа Бургундського Давида. Він перебудував і зміцнив замок і перетворив його на квадратну фортецю з житловими флігелями навколо прямокутного двору з 4 круглими вежами по кутах. Стара фортеця стала ядром одного з нових крил. Єпископ мав у своєму розпорядженні свої житлові приміщення у великій "бургундській" вежі. Земляний вал повинен був захистити замок і його внутрішній двір від ворожих нападів. У дворі був підйомний міст. З 1517 року в замку Дюрстеде жив єпископ Бургундії Філіп, зведений брат Давида. Він містив двір, як справжній король епохи Відродження, і почав прикрашати замок. Коли він закінчив, 2 житлових крила були перебудовані і забезпечені виключно великими вікнами. У той час в замку було близько 57 великих і менших кімнат. Після його смерті в замку жив судовий пристав, а домочадці зникли, в тому числі тому, що імператор Священної Римської імперії Карл V відняв у єпископів світську владу. Після 1580 року замок Дуурстеде перейшов до Штатів Утрехт. Але оскільки в 1577 році почалося зміцнення міста Вейк-бій-Дуурстеде, Бейлі довелося поступитися. У штатів Утрехта не було грошей на утримання замку, тому він повільно занепадав. А після того, як французькі війська спустошили місто в 1672 році, городяни відремонтували свої будинки і міські стіни камінням із замку. У 1852 році міська рада стала власником замку і перетворила укріплення навколо замку в парк. Приблизно до 1925 року до замку можна було дістатися тільки на невеликому поромі. "Бургундська" вежа була відновлена, і тепер замок використовується фірмою громадського харчування. У замку можна влаштовувати вечері, вечірки і весілля. Коли я вперше відвідав замок Дюрстеде, там йшла весілля, так що я не зміг потрапити всередину. Іншим разом його ремонтували за допомогою будівельних лісів і всього іншого. Так що мені все одно доведеться повернутися один раз.
