Dvorac je izvorno sagradio 1350. godine Dirk van Herlaer uz rijeku Meuse. Ammersoen je bio jedinstveni dvorac jer je izgrađen prema fiksnom planu koji se razlikovao od ostalih dvoraca izgrađenih u ovo doba. Projekt je obuhvaćao četiri krila koja su izgrađena oko središnjeg suda. Svaki je kutak imao svoj teški toranj za dodatnu zaštitu. Dvorac je obuhvaćao kapiju i izvorno je bio okružen opkopom. U to je vrijeme bila jedna od najboljih obrambenih građevina u zemlji. 1386.dvorac je izgubio vojvoda od Gelderlanda, koji je dvorac predao svom izvanbračnom sinu. Potom je 1424.prodao dvorac Johanu van Brockhougenu, Lordu Vaarenburga. Tijekom sljedećih četiri stotine godina dvorac je promijenio vlasnika samo nasljeđivanjem. Dvorac je tijekom povijesti nekoliko puta bio pod opsadom, a najznačajniji događaji bili su 1513.i 1574. Dvorac je najviše oštećen 1590.godine, kada je vlasnik dvorca Joris van Arkel ubijen od ozljeda. Nakon njegove smrti, dvorac je propao sve do 17.stoljeća, kada je obitelj van Arkel napokon prikupila dovoljno novca za obnovu dvorca. Thomas van Arkel platio je Francuzima 7000 guldena da spasu dvorac 1672.godine, kada je Francuska progutala Nizozemsku i usput spalila mnoge dvorce. Dvorac je možda preživio, ali Thomas je ostao u dugovima i nikada nije uspio dovršiti obnovu dvorca. Nakon njegove smrti dvorac je naslijedila druga obitelj. Dvorac je potom prodan Rimokatoličkoj crkvi 1876.godine i korišten je kao samostan. Tijekom Drugog svjetskog rata dvorac je korišten kao utočište za seljane. Nakon završetka rata, dvorac se koristio kao seoska vijećnica sve dok ga krajem 1950-ih nije kupila Zaklada dvorca Gelderland. Od tada je vraćen u svoj nekadašnji srednjovjekovni sjaj.