Το κάστρο χτίστηκε αρχικά το 1350 από τον Dirk van Herlaer κατά μήκος του ποταμού Maas. Το Ammersoyen ήταν ένα μοναδικό κάστρο καθώς χτίστηκε χρησιμοποιώντας ένα σταθερό σχέδιο, το οποίο ήταν σε αντίθεση με άλλα κάστρα που χτίστηκαν κατά τη διάρκεια αυτής της εποχής. Ο σχεδιασμός περιελάμβανε τέσσερα φτερά που κατασκευάστηκαν γύρω από ένα κεντρικό γήπεδο. Κάθε γωνία είχε το δικό της βαρύ πύργο για επιπλέον προστασία. Το κάστρο περιλάμβανε μια πύλη και αρχικά περιβαλλόταν από τάφρο. Εκείνη την εποχή, ήταν μια από τις καλύτερες αμυντικές δομές στη χώρα. Το 1386, το κάστρο χάθηκε Δούκας του Γκέλντερλαντ που έδωσε το κάστρο στον παράνομο γιο του. Στη συνέχεια πούλησε το κάστρο το 1424 στον Johan van Broekhugen, Άρχοντα του Waarenburg. Για τα επόμενα τετρακόσια χρόνια, το κάστρο αντάλλαξε μόνο τα χέρια μέσω κληρονομιάς. Σε όλη την ιστορία το κάστρο πολιορκήθηκε αρκετές φορές με το 1513 και το 1574 να είναι μερικά από τα πιο αξιοσημείωτα γεγονότα. Το κάστρο υπέστη τις περισσότερες ζημιές το 1590 όταν ο ιδιοκτήτης του κάστρου Joris van Arkel σκοτώθηκε από τους τραυματισμούς του. Μετά το θάνατό του, το κάστρο καταστράφηκε μέχρι τον 17ο αιώνα, όταν η οικογένεια Van Arkel συγκέντρωσε τελικά αρκετά χρήματα για να αποκαταστήσει το κάστρο. Ο Thomas van Arkel πλήρωσε τους Γάλλους 7.000 φιορίνια για να σώσει το κάστρο το 1672 όταν η Γαλλία σάρωσε την Ολλανδία και έκαψε πολλά κάστρα στην πορεία. Το κάστρο μπορεί να έχει επιβιώσει, αλλά ο Θωμάς παρέμεινε χρεωμένος και δεν μπόρεσε ποτέ να ολοκληρώσει τις ανακαινίσεις του κάστρου. Μετά το θάνατό του, το κάστρο κληρονομήθηκε από άλλη οικογένεια. Το κάστρο στη συνέχεια πωλήθηκε στη Ρωμαιοκαθολική Εκκλησία το 1876 και χρησιμοποιήθηκε ως μοναστήρι. Κατά τη διάρκεια του Β ' Παγκοσμίου Πολέμου, Το κάστρο χρησιμοποιήθηκε ως καταφύγιο για τους κατοίκους του χωριού. Μόλις τελείωσε ο πόλεμος, Το κάστρο χρησιμοποιήθηκε ως αίθουσα του χωριού μέχρι να αγοραστεί από το Gelderland Castle Trust στα τέλη της δεκαετίας του 1950. από τότε έχει αποκατασταθεί στην πρώην μεσαιωνική του δόξα.