A kastélyt eredetileg 1350-ben építette Dirk Van Herlaer a Maas folyó mentén. Ammersoyen egyedülálló kastély volt, mivel rögzített terv alapján épült, amely ellentétben állt az ebben a korszakban épült többi várral. A tervezés négy szárnyat tartalmazott, amelyeket egy középső bíróság köré építettek. Minden saroknak saját nehéz tornya volt az extra védelem érdekében. A kastély tartalmaz egy kapuházat, amelyet eredetileg árok vett körül. Abban az időben ez volt az ország egyik legkiválóbb védelmi struktúrája. 1386-ban a kastélyt elvesztette Gelderland hercege aki törvénytelen fiának adta a kastélyt. Ezután 1424-ben eladta a várat Johan van Broekhugennek, Waarenburg Urának. A következő négyszáz évben a kastély csak öröklés útján cserélt gazdát. A történelem során a várat többször ostromolták, 1513-ban és 1574-ben a legjelentősebb események közé tartozott. A kastély 1590-ben szenvedett a legtöbb kárt, amikor a kastély tulajdonosa Joris van Arkel belehalt sérüléseibe. Halála után a kastély a 17.századig romba dőlt, amikor a Van Arkel család végül elegendő pénzt gyűjtött a kastély helyreállításához. Thomas van Arkel 7000 guldent fizetett a franciáknak, hogy megmentsék a várat 1672-ben, amikor Franciaország végigsöpört Hollandián és sok várat felégetett. Lehet, hogy a kastély fennmaradt, de Thomas adós maradt, és soha nem tudta befejezni a kastély felújítását. Halála után a kastélyt egy másik család örökölte. A kastélyt 1876-ban eladták a Római Katolikus templomnak, és kolostorként használták. A második világháború alatt a kastélyt menedékként használták a falusi lakosok számára. Miután a háború véget ért, a kastélyt községházaként használták, amíg az 1950-es évek végén a Gelderland Castle Trust megvásárolta. azóta helyreállították korábbi középkori dicsőségét.