Zamek został zbudowany w 1350 roku przez Dirka van Herlaera wzdłuż rzeki Maas. Ammersoyen był wyjątkowym zamkiem, ponieważ został zbudowany na stałym planie, który był w przeciwieństwie do innych zamków zbudowanych w tej epoce. Projekt obejmował cztery skrzydła, które zostały zbudowane wokół środkowego dziedzińca. Każdy róg miał swoją ciężką wieżę Dla Dodatkowej Ochrony. Zamek składał się z bramy i był pierwotnie otoczony fosą. W tym czasie była to jedna z najlepszych budowli obronnych w kraju. W 1386 roku zamek został utracony na rzecz księcia Gelderlandu, który przekazał zamek swojemu nieślubnemu synowi. Następnie sprzedał Zamek w 1424 roku Johanowi van Broekhugenowi, Lordowi Warenburga. Przez następne czterysta lat zamek wymieniał ręce jedynie w drodze dziedziczenia. Na przestrzeni dziejów zamek był kilkakrotnie oblegany, z 1513 i 1574 były jednymi z bardziej znaczących wydarzeń. Najwięcej zniszczeń zamek doznał w 1590 roku, kiedy to właściciel zamku Joris van Arkel zginął od obrażeń. Po jego śmierci zamek popadał w ruinę aż do XVII wieku, kiedy rodzina Van Arkel zebrała w końcu pieniądze na odbudowę zamku. Thomas van Arkel zapłacił Francuzom 7000 guldenów za uratowanie zamku w 1672 roku, kiedy Francja przeszła przez Holandię i spaliła po drodze wiele zamków. Zamek mógł przetrwać, ale Tomasz pozostał w długach i nigdy nie był w stanie dokończyć renowacji zamku. Po jego śmierci zamek odziedziczyła inna rodzina. Zamek został następnie sprzedany Kościołowi Rzymskokatolickiemu w 1876 roku i służył jako klasztor. Podczas II wojny światowej zamek był wykorzystywany jako schronienie dla mieszkańców wsi. Po zakończeniu wojny zamek był wykorzystywany jako świetlica wiejska, aż został zakupiony przez Gelderland Castle Trust pod koniec lat 50. XX wieku.od tego czasu został przywrócony do dawnej świetności średniowiecznej.
