Per Elst ruïnes del castell en Duffel és un dels edificis més antics de la província d'Anvers.Localment conegut com Kasteel Ter Elst,es troba en un illot en un parc públic al poble de Duffel.La referència més antiga data del segle 12. En aquell moment el castell era propietat dels germans Hildincshusen. Des de 1356 fins a la Revolució francesa de 1789, el castell va ser propietat de la Tongerlo Abadia i va estar habitat per l'administrador. També es va usar com a residència de la noblesa. En 1584 el castell incendiat i llavors va ser reconstruït. A finals del segle 16 era vicaria. Segons el 17 i 18 de segle dibuixos Elst castell era un gran edifici, envoltat de fossat i jardins. En 1799, el castell va ser venut a Louis Hermans va mostrar la demolició de tres de les quatre principals edificis del complex i restaurada l'ala part amb les torres. Durant la Primera Guerra Mundial, el castell va ser greument danyada.
