Ruiny zamku Per Elst w Duffel to jeden z najstarszych budynków w prowincji Antwerpia.Lokalnie znany jako Kasteel Ter Elst, leży na wysepce w parku publicznym w miejscowości Duffel.Najstarsza wzmianka pochodzi z XII wieku. W tym czasie zamek był własnością braci Hildincshusen. Od 1356 roku aż do rewolucji francuskiej w 1789 roku zamek był własnością opactwa Tongerlo i był zamieszkany przez zarządcę. Był również używany jako rezydencja dla szlachty. W 1584 roku zamek spłonął, a następnie został odbudowany. Pod koniec XVI wieku była to Plebania. Według XVII-i XVIII-wiecznych rysunków zamek Elst był dużym budynkiem otoczonym fosą i ogrodami. W 1799 roku zamek został sprzedany Ludwikowi Hermansowi, który zburzył trzy z czterech głównych budynków kompleksu i odrestaurował część skrzydłową z wieżami. Podczas I wojny światowej zamek został poważnie uszkodzony.