ダッフルにあるペル-エルスト城跡は、アントワープ州で最も古い建物の一つです。地元ではKasteel Ter Elstとして知られており、Duffel村の公共公園内の小島にあります。最も古い文献は12世紀のものである。 その時、城はhildincshusen兄弟によって所有されていました。 1356年から1789年のフランス革命まで、城はトンゲロ修道院によって所有され、スチュワードが住んでいました。 また、貴族の住居としても使用されました。 1584年に城は焼失し、その後再建されました。 16世紀後半には、それは牧師でした。 17世紀と18世紀の図面によると、エルスト城は堀と庭園に囲まれた大きな建物でした。 1799年に城はルイ-ヘルマンスに売却され、複合体の四つの主要な建物の三つを取り壊し、塔で翼の部分を復元しました。 第一次世界大戦中、城はひどく損傷を受けました。