Hrad pôvodne postavil v roku 1350 Dirk van Herlaer pozdĺž rieky Maas. Ammersoyen bol jedinečný hrad, pretože bol postavený pomocou pevného plánu, ktorý bol na rozdiel od iných hradov postavených počas tejto éry. Dizajn obsahoval štyri krídla, ktoré boli postavené okolo stredového dvora. Každý roh mal svoju vlastnú ťažkú vežu pre ďalšiu ochranu. Súčasťou hradu bola vrátnica a pôvodne bola obklopená priekopou. V tom čase to bola jedna z najlepších obranných štruktúr v krajine. V roku 1386 bol hrad stratený vojvoda z Gelderlandu ktorý dal hrad svojmu nemanželskému synovi. V roku 1424 potom hrad predal Johanovi van Broekhugenovi, Pánovi z Waarenburgu. Nasledujúcich štyristo rokov si hrad vymieňal ruky iba prostredníctvom dedičstva. V priebehu histórie bol hrad niekoľkokrát obkľúčený, pričom medzi najvýznamnejšie udalosti patrili roky 1513 a 1574. Hrad utrpel najväčšie škody v roku 1590, keď bol na následky zranení zabitý majiteľ hradu Joris van Arkel. Po jeho smrti hrad chátral až do 17.storočia, keď rodina Van Arkel konečne získala dostatok peňazí na obnovu hradu. Thomas van Arkel zaplatil Francúzom 7 000 guldenov za záchranu hradu v roku 1672, keď sa Francúzsko prehnalo Holandskom a cestou spálilo veľa hradov. Hrad možno prežil, ale Thomas zostal v dlhu a nikdy nebol schopný dokončiť renováciu hradu. Po jeho smrti hrad zdedila iná rodina. Hrad bol potom v roku 1876 predaný rímskokatolíckemu kostolu a slúžil ako kláštor. Počas druhej svetovej vojny bol hrad využívaný ako úkryt pre obyvateľov dediny. Akonáhle vojna skončila, hrad bol používaný ako dedinská hala, kým nebol zakúpený Gelderland Castle Trust v neskorých 1950s. it od tej doby bol obnovený do svojej bývalej stredovekej slávy.
