Per Elst vár romjai Duffel egyik legrégebbi épület a tartomány Antwerpen.Helyileg Kasteel Ter Elst néven ismert, egy szigeten fekszik egy nyilvános parkban, Duffel faluban.A legrégebbi referencia a 12. századból származik. Abban az időben a kastély a hildincshusen testvérek tulajdonában volt. 1356-tól az 1789-es francia forradalomig a vár a Tongerlói apátság tulajdona volt, és az Intéző lakta. A nemesség lakóhelyeként is használták. 1584-ben a vár leégett, majd újjáépítették. A 16. század végén plébánia volt. A 17-18. századi rajzok szerint az Elst kastély egy nagy épület volt, amelyet árkok és kertek vettek körül. 1799-ben a kastélyt Hermán Lajosnak adták el, a komplexum négy főépülete közül hármat lebontottak, és a tornyokkal együtt helyreállították a szárnyrészt. Az első világháború alatt a kastély súlyosan megsérült.
