Ruševine Elst castle u Duffku jedna je od najstarijih zgrada u pokrajini Antwerpen.Lokalno znan kao Kastel Ter Elst,nalazi se na ostrvu u javnom parku u selu platneni.Najstarija referenca datira iz 12. stoljeća. Tada su castla posjedovali braća Hildincshusen. Od 1356 do francuske Revolucije u 1789 dvorac je u vlasništvu Tongerlo Abbey i bio naseljen je stjuard. Također je korištena kao prebivalište plemstva. 1584.dvorac je izgoreo i ponovo je izgrađen. U kasnom 16. stoljeću to je bila vicaraža. Prema crtežima iz 17. i 18. stoljeća Elst castle bila je velika zgrada okružena močvarom i vrtovima. U 1799 dvorac je prodao Louis Hermans pokazao srušiti tri od cetiri glavne zgrade kompleksa i vraćena u krilo dio sa kule. Za vrijeme Prvog svjetskog rata dvorac je bio teško oštećen.