Per Elst pils drupas Duffel ir viena no vecākajām ēkām provincē Antverpenē.Vietēji pazīstams kā Kasteel Ter Elst, tas atrodas uz saliņas Publiskā Parkā ciematā Duffel.Vecākie atsauces datumi no 12. gadsimta. Tolaik pils piederēja brāļiem Hildincshusen. No 1356. gada līdz Francijas revolūcijai 1789. gadā pils piederēja Tongerlo abatijai, un to apdzīvoja pārvaldnieks. To izmantoja arī kā dzīvesvietu muižniecībai. 1584. gadā pils nodega un pēc tam tika pārbūvēta. 16. gadsimta beigās tas bija vikārs. Saskaņā ar 17. un 18. gadsimta zīmējumiem Elst pils bija liela ēka, ko ieskauj grāvis un dārzi. 1799 pils tika pārdota Louis Hermans parādīja nojaukt trīs no četrām galvenajām ēkām kompleksa un atjaunoja spārnu daļu ar torņiem. Pirmā Pasaules kara laikā pils bija stipri bojāta.
