Hacia 1270, Zweder I van Zuylen van Abcoude construyó una torre del homenaje independiente en un lugar elevado y con foso. Este edificio militar tenía unos 11 metros de altura y unos muros de 2,5 metros de grosor. Más tarde se añadieron un piso más y un ala residencial con un gran salón. Hasta principios del siglo XV, el castillo de Duurstede estuvo en manos de la familia Van Zuylen van Abcoude, cuando se vieron obligados a venderlo a los obispos de Utrecht, que lo conservaron hasta 1580. Desde 1459 hasta 1496 el castillo albergó la administración y el archivo de la diócesis de Utrecht y sirvió de residencia al obispo David de Borgoña. Éste reconstruyó y fortificó el castillo y lo convirtió en una fortaleza cuadrada con alas residenciales alrededor de un patio rectangular con 4 torres redondas en sus esquinas. La antigua torre del homenaje se convirtió en el núcleo de una de las nuevas alas. El obispo tenía su residencia en la gran torre "borgoñona". Una muralla de tierra debía proteger el castillo y su patio de armas de los ataques enemigos. El patio tenía un puente levadizo. A partir de 1517, el castillo de Duurstede fue habitado por el obispo Felipe de Borgoña, hermanastro de David. Mantuvo la corte como un verdadero rey renacentista y comenzó a embellecer el castillo. Cuando terminó, se habían reconstruido dos alas residenciales y se las dotó de ventanas excepcionalmente grandes. En esta época el castillo contaba con unas 57 habitaciones grandes y pequeñas. Tras su muerte, el castillo fue habitado por un alguacil y la casa desapareció, también porque el emperador del Sacro Imperio Romano Germánico, Carlos V, quitó los poderes seculares a los obispos. Después de 1580 el castillo de Duurstede pasó a manos de los Estados de Utrecht. Pero como en 1577 se inició la fortificación de la ciudad de Wijk bij Duurstede, el bailey tuvo que abrirse paso. Los Estados de Utrecht no tenían dinero para mantener el castillo, por lo que poco a poco fue decayendo. Y después de que las tropas francesas devastaran la ciudad en 1672, los ciudadanos repararon sus casas y las murallas con piedras del castillo. En 1852, el ayuntamiento se hizo propietario del castillo y convirtió las fortificaciones que lo rodeaban en un parque. Hasta alrededor de 1925 sólo se podía acceder al castillo con un pequeño transbordador. La torre "borgoñona" ha sido restaurada y el castillo es utilizado ahora por una empresa de restauración. Se pueden celebrar cenas, fiestas y bodas en el castillo. La primera vez que visité el castillo de Duurstede se estaba celebrando una boda, así que no pude entrar. En otra ocasión se estaba renovando con andamios y todo. Así que todavía tengo que volver una vez.