El castell va ser construït el 1350 per Van Herlaer al llarg del riu maas. Ammersoyen va ser un castell únic, ja que es va construir utilitzant una planta fixa, que era diferent d'altres castells construïts durant aquesta època. El disseny incloïa quatre ales que es van construir al voltant d'una pista central. Cada cantonada tenia la seva pròpia torre pesada per a una major protecció. El castell incloïa una porta d'entrada i estava originalment envoltat per un fossat. En aquell moment, era una de les millors estructures defensives del país. El 1386, el castell es va perdre a Mans del Duc De Gelderland, que el va cedir al seu fill illegítim. Després va vendre el castell el 1424 A Johan van. Durant els següents quatre-cents anys, el castell només va intercanviar mans per herència. Al llarg de la història, el castell va ser assetjat diverses vegades, entre 1513 i 1574, sent alguns dels esdeveniments més notables. El castell va patir els danys més greus el 1590, quan El propietari del castell, Joris Van, va morir a causa de les seves ferides. Després de la seva mort, el castell va caure en ruïnes fins al segle 17, quan la família Va recaptar prou diners per restaurar el castell. Thomas Va pagar als francesos 7.000 florins per salvar el castell el 1672, Quan França va escombrar Holanda i va cremar molts castells pel camí. El castell pot haver sobreviscut, Però Tomàs va romandre en deute i mai va ser capaç d'acabar les renovacions del castell. Després de la seva mort, el castell va ser heretat per una altra família. El castell va ser venut a L'Església Catòlica Romana el 1876 i va ser utilitzat com a convent. Durant la Segona Guerra mundial, el castell va ser utilitzat com a refugi per als residents del poble. Un cop acabada la guerra, el castell va ser utilitzat com a sala de poble fins que va ser adquirit pel Gelderland Castle Trust a finals de la dècada de 1950. des de llavors ha estat restaurat a la seva antiga glòria medieval.