Per Elst ruinele castelului din Duffel este una dintre cele mai vechi clădiri din provincia Anvers.Cunoscut local ca Kasteel ter Elst, se află pe o insulă într-un parc public din satul Duffel.Cea mai veche referință datează din secolul al XII-lea. În acel moment castelul era deținut de frații Hildincshusen. Din 1356 până la Revoluția franceză din 1789, castelul a fost deținut de Abația Tongerlo și a fost locuit de steward. De asemenea, a fost folosit ca reședință pentru nobilime. În 1584 castelul a ars și apoi a fost reconstruit. La sfârșitul secolului al XVI-lea a fost o casă parohială. Conform 17 - și desene din secolul al 18-lea castelul Elst a fost o clădire mare înconjurată de șanț și grădini. În 1799 castelul a fost vândut Louis Hermans a arătat demola trei dintre cele patru clădiri principale ale complexului și restaurat partea aripa cu turnurile. În timpul Primului Război Mondial castelul a fost grav avariat.
