Lossi ehitas algselt 1350. aastal Dirk van Herlaer Maasi jõe äärde. Ammersoyen oli ainulaadne loss, kuna see ehitati kindla plaani abil, mis erines teistest sel ajastul ehitatud lossidest. Kujundus sisaldas nelja tiiba, mis olid ehitatud keskväljaku ümber. Igal nurgal oli lisakaitseks oma raske torn. Loss sisaldas väravamaja ja oli algselt ümbritsetud vallikraaviga. Sel ajal oli see üks parimaid kaitsestruktuure riigis. Aastal 1386 kaotati loss Gelderlandi hertsogile, kes andis lossi oma vallaslapsele. Seejärel müüs ta lossi aastal 1424 Waarenburgi isandale Johan Van Broekhugenile. Järgmised nelisada aastat vahetas loss käsi ainult pärimise teel. Läbi ajaloo piirati lossi mitu korda, 1513 ja 1574 olid mõned tähelepanuväärsemad sündmused. Loss sai kõige rohkem kahju 1590.aastal, kui lossiomanik Joris van Arkel tapeti vigastustesse. Pärast tema surma lagunes loss kuni 17. sajandini, kui Van Arkeli perekond kogus lõpuks lossi taastamiseks piisavalt raha. Thomas van Arkel maksis prantslastele 7000 guldenit lossi päästmiseks 1672.aastal, kui Prantsusmaa pühkis läbi Hollandi ja põletas teel palju losse. Loss võis küll ellu jääda, kuid Thomas jäi võlgu ega suutnud kunagi lossi renoveerimist lõpule viia. Pärast tema surma päris lossi teine perekond. Seejärel müüdi loss 1876.aastal roomakatoliku kirikule ja seda kasutati kloostrina. Teise maailmasõja ajal kasutati lossi küla elanike varjupaigana. Kui sõda oli läbi, kasutati lossi külakojana, kuni selle ostis Gelderlandi lossi usaldus 1950. aastate lõpus. sellest ajast alates on see taastatud endises keskaegses hiilguses.
