Per Elst castle varemed Duffel on üks vanimaid hooneid provintsis Antwerpen.Kohalikult tuntud Kasteel Ter Elst, see asub saareke avalik park Külas Duffel.Vanim viide pärineb 12. sajandist. Sel ajal lossi kuulus vennad Hildincshusen. Alates 1356. aastast kuni Prantsuse revolutsioonini 1789. aastal kuulus loss Tongerlo kloostrile ja seal elas korrapidaja. Seda kasutati ka Aadli elukohana. 1584. aastal põles loss maha ja ehitati seejärel ümber. 16. sajandi lõpus oli see pastoraat. 17. ja 18. sajandi jooniste kohaselt oli elsti loss suur hoone, mida ümbritsesid vallikraav ja aiad. 1799. aastal müüdi loss Louis Hermansile, lammutati kolm kompleksi neljast peahoonest ja taastati tornidega tiibosa. Esimese maailmasõja ajal oli loss tõsiselt kahjustatud.
