Grad je bil prvotno zgrajen leta 1350 Dirk van Herlaer ob reki Maas. Ammersojen je bil edinstven grad, saj je bil zgrajen po fiksnem načrtu, ki je bil za razliko od drugih gradov, zgrajenih v tej dobi. Zasnova je vključevala štiri krila, ki so bila zgrajena okoli sredinskega dvorišča. Vsak vogal je imel svoj težki stolp za dodatno zaščito. Grad je vključeval vrata in je bil prvotno obdan z jarkom. Takrat je bila ena najboljših obrambnih struktur v državi. Leta 1386 je grad izgubil vojvoda Gelderland, ki ga je dal svojemu nezakonskemu sinu. Leta 1424 je grad prodal Johanu van Broekhugenu, gospodarju Varenburga. Naslednjih štiristo let si je grad izmenjeval roke le z dedovanjem. Skozi zgodovino je bil grad večkrat oblegan, leta 1513 in 1574 pa so bili nekateri pomembnejši dogodki. Grad je utrpel največ škode leta 1590, ko je bil zaradi poškodb ubit lastnik gradu Joris van Arkel. Po njegovi smrti je grad propadel do 17.stoletja, ko je družina Van Arkel končno zbrala dovolj denarja za obnovo gradu. Thomas van Arkel je Francozom plačal 7000 goldinarjev, da so grad rešili leta 1672, ko je Francija preplavila Nizozemsko in na poti požgala številne gradove. Grad je morda preživel, toda Thomas je ostal v dolgovih in nikoli ni mogel dokončati prenove gradu. Po njegovi smrti je grad podedovala druga družina. Grad je bil nato prodan Rimskokatoliški cerkvi leta 1876 in je bil uporabljen kot samostan. Med drugo svetovno vojno je bil grad uporabljen kot zatočišče za prebivalce vasi. Ko je bila vojna končana, je bil grad uporabljen kot vaška dvorana, dokler ga ni kupil grad Gelderland Trust v poznih 1950-ih. od takrat je bil obnovljen v nekdanji srednjeveški slavi.
Top of the World