Las ruinas del castillo de Per Elst en Duffel es uno de los edificios más antiguos de la provincia de Amberes. Conocido localmente como Kasteel Ter Elst, se encuentra en un islote de un parque público en el pueblo de Duffel. La referencia más antigua data del siglo XII. En esa época el castillo era propiedad de los hermanos Hildincshusen. Desde 1356 hasta la Revolución Francesa en 1789 el castillo fue propiedad de la Abadía de Tongerlo y fue habitado por el mayordomo. También fue usado como residencia de la nobleza. En 1584 el castillo se quemó y fue reconstruido. A finales del siglo XVI era una vicaría. Según los dibujos de los siglos XVII y XVIII, el castillo de Elst era un gran edificio rodeado de fosos y jardines. En 1799 el castillo fue vendido a Louis Hermans mostrando la demolición de tres de los cuatro edificios principales del complejo y restaurando la parte del ala con las torres. Durante la Primera Guerra Mundial el castillo fue muy dañado.
