El castillo fue construido originalmente en 1350 por Dirk van Herlaer junto al río Maas. Ammersoyen fue un castillo único, ya que se construyó con una planta fija, lo que no era habitual en otros castillos construidos en esa época. El diseño incluía cuatro alas construidas alrededor de un patio central. Cada esquina tenía su propia torre pesada para mayor protección. El castillo contaba con una puerta y estaba rodeado por un foso. En aquella época, era una de las mejores estructuras defensivas del país. En 1386, el castillo pasó a manos del duque de Gelderland, que lo cedió a su hijo ilegítimo. Éste vendió el castillo en 1424 a Johan van Broekhugen, señor de Waarenburg. Durante los siguientes cuatrocientos años, el castillo sólo cambió de manos por herencia. A lo largo de la historia, el castillo fue asediado en varias ocasiones, siendo 1513 y 1574 algunos de los acontecimientos más notables. El castillo sufrió los mayores daños en 1590, cuando el propietario del castillo, Joris van Arkel, murió a causa de sus heridas. Tras su muerte, el castillo cayó en la ruina hasta el siglo XVII, cuando la familia Van Arkel reunió finalmente el dinero suficiente para restaurar el castillo. Thomas van Arkel pagó a los franceses 7.000 florines para salvar el castillo en 1672, cuando Francia arrasó Holanda y quemó muchos castillos por el camino. El castillo sobrevivió, pero Thomas siguió endeudado y nunca pudo terminar las renovaciones del castillo. Tras su muerte, el castillo fue heredado por otra familia. El castillo se vendió a la Iglesia Católica Romana en 1876 y se utilizó como convento. Durante la Segunda Guerra Mundial, el castillo se utilizó como refugio para los residentes del pueblo. Una vez terminada la guerra, el castillo se utilizó como sala de fiestas hasta que fue adquirido por el Gelderland Castle Trust a finales de la década de 1950. Desde entonces se ha restaurado para devolverle su antigua gloria medieval.