Ruševine dvorca pere Elst u Duffelu jedna je od najstarijih zgrada u pokrajini Antwerpen.Nalazi se na otočiću u javnom parku u selu Duffel, poznatom kao Castil ter Elst.Najstariji spomen datira iz 12. stoljeća. U to je vrijeme dvorac pripadao braći Hildinckshusen. Od 1356. do Francuske revolucije 1789. godine, dvorac je pripadao Tongerlo Abbey i bio je naseljen od strane upravitelja. Također se koristi kao rezidencija za plemstvo. Godine 1584.dvorac je izgorio, a zatim je obnovljen. Krajem 16. stoljeća bila je to kuća svećenika. Prema crtežima iz 17. i 18. stoljeća, dvorac Elst bio je velika zgrada okružena jarkom i vrtovima. Godine 1799. dvorac je prodan Louis Germansu, koji je srušio tri od četiri glavne zgrade kompleksa i obnovio dio s tornjevima. Tijekom Prvog svjetskog rata dvorac je bio teško pogođen.
