Per Elst pilies griuvėsiai Duffel yra vienas iš seniausių pastatų Antverpeno provincijoje.Vietoje žinomas kaip Kasteel Ter Elst, jis yra ant salelės viešajame parke Duffel kaime.Seniausia nuoroda datuojama 12 amžiuje. Tuo metu pilis priklausė broliams Hildincshusen. Nuo 1356 m. Iki Prancūzijos revoliucijos 1789 m. pilis priklausė Tongerlo Abatijai ir buvo apgyvendinta valdytojo. Jis taip pat buvo naudojamas kaip bajorų rezidencija. 1584 m. pilis sudegė ir vėliau buvo atstatyta. 16 A. pabaigoje tai buvo vikaras. Pagal 17-ojo ir 18-ojo amžiaus brėžinius Elsto pilis buvo didelis pastatas, apsuptas griovio ir sodų. 1799 m. pilis buvo parduota Luisui Hermansui, kuris nugriovė tris iš keturių pagrindinių komplekso pastatų ir atstatė sparno dalį su bokštais. Pirmojo pasaulinio karo metu pilis buvo smarkiai pažeista.
