Dvorac je prvobitno izgrađen 1350. godine Dirk van Herlaer uz rijeku Maas. Ammersoyen je jedinstven dvorac jer je izgrađen pomoću fiksnog plana, koji je za razliku od drugih dvoraca izgrađen u to doba. Dizajn uključuje četiri krila koja su izgrađena oko centra suda. Svaki ugao imao je svoj teški toranj za dodatnu zaštitu. Dvorac uključen kapije i prvobitno je okružen jarkom. Tada je to bila jedna od najboljih odbrambenih struktura u zemlji. Dvorac je 1386. godine izgubljen od vojvode od Gelderlanda koji je dvorac dao svom vanbračnom sinu. Zatim je dvorac prodao 1424. godine Johanu van Broekhugenu, Gospodaru Waarenburga. Sljedećih četiri stotine godina dvorac je samo razmjenjivao ruke nasljeđivanjem. Kroz istoriju dvorac je nekoliko puta bio pod opsadom, a 1513.i 1574. bili su neki od značajnijih događaja. Dvorac je pretrpio najveću štetu 1590. godine kada je vlasnik dvorca Joris van Arkel ubijen od njegovih povreda. Nakon njegove smrti, dvorac je pao u propast sve do 17.vijeka kada je porodica Van Arkel konačno prikupila dovoljno novca za obnovu dvorca. Thomas van Arkel platio je francuskim 7.000 guldena da spasu dvorac 1672. godine kada je Francuska zahvatila Holandiju i usput spalila mnoge dvorce. Dvorac je možda preživio, ali Thomas je ostao u dugovima i nikada nije uspio završiti renoviranje dvorca. Nakon njegove smrti, dvorac je naslijedila druga porodica. Dvorac je zatim prodat Rimokatoličkoj Crkvi 1876. godine i korišten je kao samostan. Tokom Drugog svjetskog rata dvorac je korišten kao sklonište za stanovnike sela. Kada je rat završio, dvorac je korišten kao seoska dvorana dok ga nije kupio Gelderland Castle Trust krajem 1950-ih. od tada je vraćen u svoju bivšu srednjovjekovnu slavu.