Kastalinn var upphaflega byggður árið 1350 Af Dirk van Herlaer meðfram Maas ánni. Ammersoyen var einstakt kastala eins og það var byggt með fastri áætlun, sem var ólíkt öðrum kastala byggð á þessum tíma. Hönnunin innihélt fjóra vængi sem voru smíðaðir í kringum miðju dómi. Hvert horn hafði eigin þungur turn fyrir auka vernd. Kastalinn með gatehouse og var upphaflega umkringdur moat. Á þeim tíma var það eitt af bestu varnarvirkjum landsins. 1386-kastalinn týndist Hertoga Af Gelderlandi sem gaf óviðurkenndum syni sínum kastalann. 1424 seldi Hann johan van Broekhugen, Lávarði Af Vararenburg, kastalann. Næstu fjögur hundruð árin skipst kastalinn aðeins hendur í gegnum arfleifð. Í gegnum söguna var kastalinn umsetin nokkrum sinnum með 1513 og 1574 vera sumir af the fleiri áberandi atburðum. Kastalinn varð fyrir mestum skaða árið 1590 þegar Joris van Arkel, eigandi kastalans, lést af sárum sínum. Eftir dauða hans, kastalinn féll í glötun þar Til Á 17. öld Þegar Van Arkel fjölskyldan loks vakti nóg til að endurheimta kastalann. Thomas van Arkel greiddi franska 7.000 guilders að bjarga kastalanum í 1672 þegar Frakkland hrífast Gegnum Holland og brenna marga kastala á leiðinni. Kastalinn kann að hafa lifað, en Thomas var í skuldir og var aldrei hægt að klára kastala endurbætur. Eftir dauða hans var kastalinn erfði aðra fjölskyldu. Kastalinn var síðan seldur Til Rómversk-Kaþólsku Kirkjunnar árið 1876 og var notaður sem klaustur. Í Seinni Heimsstyrjöldinni var kastalinn notaður sem skjól fyrir íbúa þorpsins. Þegar stríðinu var lokið, kastalinn var notað sem þorp sal þar til það var keypt Af Gelderland Kastala Traust í lok 1950. það hefur síðan verið endurreist til fyrrverandi miðalda dýrð þess.