Il castello fu originariamente costruito nel 1350 da Dirk van Herlaer lungo il fiume Maas. Ammersoyen era un castello unico, poiché fu costruito con una pianta fissa, a differenza di altri castelli costruiti in quell'epoca. Il progetto includeva quattro ali che erano costruite intorno a un cortile centrale. Ogni angolo aveva la sua torre pesante per una maggiore protezione. Il castello comprendeva una portineria ed era originariamente circondato da un fossato. All'epoca era una delle migliori strutture difensive del paese. Nel 1386, il castello fu perso dal Duca di Gelderland che lo diede al suo figlio illegittimo. Poi vendette il castello nel 1424 a Johan van Broekhugen, signore di Waarenburg. Per i successivi quattrocento anni, il castello passò di mano solo per eredità. Nel corso della storia il castello fu assediato diverse volte, con il 1513 e il 1574 come alcuni degli eventi più notevoli. Il castello subì i maggiori danni nel 1590, quando il proprietario del castello Joris van Arkel fu ucciso dalle sue ferite. Dopo la sua morte, il castello cadde in rovina fino al XVII secolo, quando la famiglia Van Arkel finalmente raccolse abbastanza soldi per restaurarlo. Thomas van Arkel pagò ai francesi 7.000 fiorini per salvare il castello nel 1672, quando la Francia spazzò l'Olanda e bruciò molti castelli lungo la strada. Il castello potrebbe essere sopravvissuto, ma Thomas rimase indebitato e non fu mai in grado di finire la ristrutturazione del castello. Dopo la sua morte, il castello fu ereditato da un'altra famiglia. Il castello fu poi venduto alla Chiesa Cattolica Romana nel 1876 e fu usato come convento. Durante la seconda guerra mondiale, il castello fu usato come rifugio per i residenti del villaggio. Una volta finita la guerra, il castello fu usato come sala del villaggio fino a quando fu acquistato dal Gelderland Castle Trust alla fine degli anni cinquanta. Da allora è stato restaurato al suo antico splendore medievale.
