Slottet blev oprindeligt bygget i 1350 af Dirk van herlaer langs floden Maas. Ammersoyen var et unikt slot, da det blev bygget ved hjælp af en fast plan, som var i modsætning til andre slotte bygget i denne æra. Designet omfattede fire vinger, der blev konstrueret omkring en centerbane. Hvert hjørne havde sit eget tunge tårn for ekstra beskyttelse. Slottet omfattede et porthus og var oprindeligt omgivet af en voldgrav. På det tidspunkt var det en af de fineste defensive strukturer i landet. I 1386 blev slottet tabt til hertug af Gelderland, der gav slottet til sin uægte søn. I 1424 solgte han slottet til Johan van Broekhugen. I de næste fire hundrede år udvekslede slottet kun hænder gennem arv. Gennem historien blev slottet belejret flere gange med 1513 og 1574 som nogle af de mere bemærkelsesværdige begivenheder. Slottet led mest skade i 1590, da slotsejeren Joris van Arkel blev dræbt af sine skader. Efter hans død faldt slottet i ruin indtil det 17.århundrede, da Van Arkel-familien endelig skaffede nok penge til at genoprette slottet. Thomas van Arkel betalte de franske 7.000 gylden for at redde slottet i 1672, da Frankrig fejede gennem Holland og brændte mange slotte undervejs. Slottet kan have overlevet, men Thomas forblev i gæld og var aldrig i stand til at afslutte slottets renoveringer. Efter hans død blev slottet arvet af en anden familie. Slottet blev derefter solgt til den Romersk-Katolske Kirke i 1876 og blev brugt som kloster. Under Anden Verdenskrig blev slottet brugt som husly for landsbyboere. Når krigen var forbi, blev slottet brugt som et landsbyhus, indtil det blev købt af Gelderland Castle Trust i slutningen af 1950 ' erne. det er siden blevet restaureret til sin tidligere middelalderlige herlighed.