Duffel'deki Per elst Kalesi kalıntıları, Antwerp eyaletindeki en eski binalardan biridir.Yerel olarak Kasteel Ter Elst olarak bilinen otel, duffel Köyündeki halka açık bir parkta bir adacık üzerinde yer almaktadır.En eski referans 12. yüzyıldan kalmadır. O zaman kale Hildincshusen kardeşlere aitti. 1356'dan 1789'da Fransız Devrimi'ne kadar kale Tongerlo Manastırı'na aitti ve steward tarafından iskan edildi. Aynı zamanda asalet için bir konut olarak kullanıldı. 1584 yılında kale yandı ve daha sonra yeniden inşa edildi. 16. yüzyılın sonlarında bir papazdı. 17. ve 18. yüzyıl çizimlerine göre, Elst Kalesi hendek ve bahçelerle çevrili büyük bir binaydı. 1799'da Kale Louis Hermans'a satıldı, kompleksin dört ana binasından üçünü yıktı ve kulelerle birlikte kanat kısmını restore etti. Birinci Dünya Savaşı sırasında kale ağır hasar gördü.
