O castelo foi originalmente construído em 1350 por Dirk van Herlaer ao longo do Rio Maas. Ammersoyen era um castelo único, pois foi construído usando um plano fixo, que era diferente de outros castelos construídos durante esta época. O projeto incluiu quatro asas que foram construídas em torno de uma quadra central. Cada canto tinha sua própria torre pesada para proteção extra. O castelo incluía uma portaria e foi originalmente cercado por um fosso. Na época, era uma das melhores estruturas defensivas do país. Em 1386, o castelo foi perdido para o Duque de Gelderland, que deu o castelo a seu filho ilegítimo. Ele então vendeu o castelo em 1424 para Johan van Broekhugen, Senhor de Waarenburg. Nos quatrocentos anos seguintes, o castelo só trocou as mãos por herança. Ao longo da história, o castelo foi sitiado várias vezes, com 1513 e 1574 sendo alguns dos eventos mais notáveis. O castelo sofreu o maior dano em 1590, quando o proprietário do Castelo Joris van Arkel foi morto por seus ferimentos. Após sua morte, o castelo caiu em ruínas até o século 17, quando a família Van Arkel finalmente arrecadou dinheiro suficiente para restaurar o castelo. Thomas van Arkel pagou aos franceses 7.000 florins para salvar o castelo em 1672, quando a França varreu a Holanda e queimou muitos castelos ao longo do caminho. O castelo pode ter sobrevivido, mas Thomas permaneceu em dívida e nunca foi capaz de terminar as reformas do Castelo. Após sua morte, o castelo foi herdado por outra família. O castelo foi então vendido para a Igreja Católica Romana em 1876 e foi usado como Convento. Durante a Segunda Guerra Mundial, o castelo foi usado como abrigo para os moradores da aldeia. Uma vez que a guerra acabou, o castelo foi usado como um salão de aldeia até que foi comprado pelo Gelderland Castle Trust no final dos anos 1950. desde então, foi restaurado à sua antiga glória medieval.
