Per Elst castle ruševine v potoku so ena najstarejših zgradb v provinci Antwerpen.Lokalno znan kot Kasteel Ter Elst,leži na otočku v javni park v vasi Duffel.Najstarejši referenčni datumi iz 12. stoletja. V tem času je bil grad v lasti bratov Hildincshusen. Iz 1356 do francoske Revolucije leta 1789 je bil grad v lasti Tongerlo Opatije in je bilo poseljeno z steward. Uporabljali so ga tudi za plemstvo. Leta 1584 je grad pogorel in nato ponovno zgrajen. V poznem 16. stoletju je bilo to župnišče. Po risbah iz 17. in 18. stoletja je bil grad Elst velika stavba, obkrožena z jarek in vrtovi. Leta 1799 je bil grad prodan Louisu Hermansu, ki je porušil tri od štirih glavnih zgradb kompleksa in obnovil del krila s stolpi. Med Prvo Svetovno Vojno je bil grad, hudo poškodovana.