Hrad byl původně postaven v roce 1350 Dirkem van Herlaerem podél řeky Maas. Ammersoyen byl jedinečný hrad, protože byl postaven podle pevného plánu, který byl na rozdíl od jiných hradů postavených během této éry. Konstrukce zahrnovala čtyři křídla, která byla postavena kolem středového kurtu. Každý roh měl svou vlastní těžkou věž pro zvláštní ochranu. Hrad zahrnoval vrátnici a byl původně obklopen příkopem. V té době to byla jedna z nejlepších obranných struktur v zemi. V roce 1386 byl hrad ztracen vévodovi z Gelderlandu, který dal hrad svému nemanželskému synovi. V roce 1424 pak hrad prodal Johanu van Broekhugenovi, pánovi z Waarenburgu. Dalších čtyři sta let si hrad vyměnil ruce jen díky dědictví. V průběhu historie byl hrad několikrát obléhán, přičemž 1513 a 1574 byly některé z významnějších událostí. Největší škody hrad utrpěl v roce 1590, kdy byl na následky zranění zabit majitel hradu Joris van Arkel. Po jeho smrti se hrad rozpadl až do 17. století, kdy rodina Van Arkel nakonec získala dostatek peněz na obnovu hradu. Thomas van Arkel zaplatil francouzským 7 000 guldenů, aby zachránil hrad v roce 1672, když Francie prošla Holandskem a spálila mnoho hradů. Hrad sice přežil, ale Tomáš zůstal v dluzích a rekonstrukci zámku nikdy nedokončil. Po jeho smrti hrad zdědila jiná rodina. Zámek byl poté v roce 1876 prodán římskokatolické církvi a byl využíván jako Klášter. Za druhé světové války byl hrad využíván jako úkryt pro obyvatele vesnice. Po skončení války byl hrad využíván jako vesnická síň, dokud nebyl zakoupen společností Gelderland Castle Trust na konci 50. let. od té doby byl obnoven do své bývalé středověké slávy.