Iš pradžių pilį 1350 m. pastatė Dirkas van Herlaeris palei maaso upę. Ammersoyen buvo unikali pilis, nes ji buvo pastatyta naudojant fiksuotą planą, kuris nepanašus į kitas šios eros metu pastatytas pilis. Projekte buvo keturi sparnai, kurie buvo pastatyti aplink centrinį teismą. Kiekvienas kampas turėjo savo sunkų bokštą papildomai apsaugai. Pilyje buvo vartai, o iš pradžių ją apsupo griovys. Tuo metu tai buvo viena geriausių gynybinių struktūrų šalyje. 1386 m. pilis buvo prarasta Gelderlando hercogui, kuris pilį atidavė savo nesantuokiniam sūnui. Tada jis pardavė pilį 1424 m Johanas van Broekhugenas, Vaarenburgo Lordas. Per ateinančius keturis šimtus metų pilis pasikeitė rankomis tik paveldėjimo būdu. Per visą istoriją pilis kelis kartus buvo apgulta, o 1513 ir 1574 m.buvo vieni žymesnių įvykių. Pilis patyrė didžiausią žalą 1590 m., kai pilies savininkas Joris van Arkel buvo nužudytas nuo sužalojimų. Po jo mirties pilis sugriuvo iki 17 amžiaus, kai Van Arkel šeima pagaliau surinko pakankamai pinigų piliai atkurti. Thomas van Arkelis sumokėjo prancūzams 7000 guldenų, kad išgelbėtų pilį 1672 m., Kai Prancūzija nušlavė Olandiją ir pakeliui sudegino daugybę pilių. Pilis galėjo išlikti, tačiau Tomas liko skolingas ir niekada negalėjo baigti pilies atnaujinimo. Po jo mirties pilį paveldėjo kita šeima. Tada pilis 1876 m. buvo parduota Romos Katalikų Bažnyčiai ir buvo naudojama kaip vienuolynas. Antrojo pasaulinio karo metu pilis buvo naudojama kaip prieglauda kaimo gyventojams. Pasibaigus karui, pilis buvo naudojama kaip kaimo salė, kol 1950-ųjų pabaigoje ją įsigijo Gelderlando pilies pasitikėjimas. nuo to laiko ji buvo atkurta buvusioje viduramžių šlovėje.