Slottet byggdes ursprungligen 1350 av Dirk van Herlaer längs floden Maas. Ammersoyen var ett unikt slott eftersom det byggdes med en fast plan, som till skillnad från andra slott som byggdes under denna tid. Designen inkluderade fyra vingar som konstruerades runt en mittbana. Varje hörn hade sitt eget tunga torn för extra skydd. Slottet inkluderade ett porthus och var ursprungligen omgivet av en vallgrav. Just då, det var en av de finaste defensiva strukturerna i landet. År 1386 förlorades slottet för hertigen av Gelderland som gav slottet till sin olagliga son. Han sålde sedan slottet 1424 till Johan van Broekhugen, Lord of Waarenburg. Under de kommande fyra hundra åren bytte slottet bara händer genom arv. Genom historien belägrades slottet flera gånger med 1513 och 1574 som några av de mer anmärkningsvärda händelserna. Slottet led mest skada 1590 när slottets ägare Joris van Arkel dödades av sina skador. Efter hans död föll slottet i ruin fram till 17-talet när Van Arkel familjen slutligen höjde tillräckligt med pengar för att återställa slottet. Thomas van Arkel betalade de franska 7000 gulden för att rädda slottet 1672 när Frankrike svepte genom Holland och brände många slott längs vägen. Slottet kan ha överlevt, men Thomas förblev i skuld och kunde aldrig avsluta slottets renoveringar. Efter hans död ärvdes slottet av en annan familj. Slottet såldes sedan till den Romersk-katolska kyrkan 1876 och användes som ett kloster. Under andra världskriget användes slottet som skydd för bybor. När kriget var över användes slottet som en byhall tills det köptes av Gelderland Castle Trust i slutet av 1950-talet. det har sedan dess återställts till sin tidigare medeltida ära.
