Castelul a fost construit inițial în 1350 de Dirk van herlaer de-a lungul râului Maas. Ammersoyen a fost un castel unic, deoarece a fost construit folosind un plan fix, care era diferit de alte castele construite în această epocă. Designul a inclus patru aripi care au fost construite în jurul unui teren central. Fiecare colț avea propriul turn greu pentru o protecție suplimentară. Castelul a inclus o poartă și a fost inițial înconjurat de un șanț. La acea vreme, era una dintre cele mai bune structuri defensive din țară. În 1386, castelul a fost pierdut de Ducele de Gelderland, care a dat castelul fiului său nelegitim. Apoi a vândut castelul în 1424 lui Johan van Broekhugen, Lord de Waarenburg. În următorii patru sute de ani, castelul a schimbat mâinile doar prin moștenire. De-a lungul istoriei, castelul a fost asediat de mai multe ori, 1513 și 1574 fiind unele dintre cele mai notabile evenimente. Castelul a suferit cele mai multe daune în 1590, când proprietarul castelului Joris van Arkel a fost ucis din cauza rănilor sale. După moartea sa, castelul a căzut în ruină până în secolul al 17-lea, când familia Van Arkel a strâns în cele din urmă suficienți bani pentru a restabili Castelul. Thomas van Arkel a plătit francezilor 7.000 de guldeni pentru a salva castelul în 1672, când Franța a măturat Olanda și a ars multe castele de-a lungul drumului. Castelul poate că a supraviețuit, dar Thomas a rămas în datorii și nu a reușit niciodată să termine renovările castelului. După moartea sa, castelul a fost moștenit de o altă familie. Castelul a fost apoi vândut Bisericii Romano-Catolice în 1876 și a fost folosit ca mănăstire. În timpul celui de-al Doilea Război Mondial, castelul a fost folosit ca adăpost pentru locuitorii satului. Odată ce războiul s-a terminat, castelul a fost folosit ca primărie a satului până când a fost cumpărat de Gelderland Castle Trust la sfârșitul anilor 1950. de atunci a fost restaurat la fosta sa glorie medievală.
