Qal'a dastlab 1350 yilda Dirk van Herlaer tomonidan Maas daryosi bo'yida qurilgan. Ammersoyen noyob qal'a edi, chunki u ushbu davrda qurilgan boshqa qasrlardan farqli o'laroq, belgilangan reja yordamida qurilgan. Dizaynda Markaziy sud atrofida qurilgan to'rtta qanot mavjud edi. Qo'shimcha himoya qilish uchun har bir burchakda o'zining og'ir minorasi bor edi. Qal'a darvozaxonani o'z ichiga olgan va dastlab xandaq bilan o'ralgan. O'sha paytda u mamlakatdagi eng yaxshi mudofaa tuzilmalaridan biri edi. 1386 yilda qal'a yo'qolgan Gelderland gersogi kim qasrni noqonuniy o'g'liga bergan. Keyin u 1424 yilda qal'ani sotdi Yoxan van Bruxugen, Lord Vaarenburg. Keyingi to'rt yuz yil davomida qal'a faqat meros orqali qo'l almashdi. Tarix davomida qal'a 1513 va 1574 yillar bilan bir necha bor qamal qilingan, bu eng muhim voqealardan biri. Qal'a 1590 yilda qal'a egasi Joris van Arkel uning jarohatlaridan o'ldirilganda eng ko'p zarar ko'rgan. Uning o'limidan so'ng, 17-asrga qadar van Arkel oilasi qal'ani tiklash uchun etarlicha pul yig'maguncha qal'a vayronaga aylandi. Tomas van Arkel frantsuz pullik 7,000 guilders qal'a saqlab qolish uchun 1672 Frantsiya Gollandiya orqali qirib tashladi va yo'lda ko'p qal'alar yoqib qachon. Qal'a omon qolgan bo'lishi mumkin, ammo Tomas qarzda qoldi va hech qachon qal'ani ta'mirlashni tugata olmadi. Uning o'limidan keyin qal'a boshqa oilaga meros bo'lib o'tdi. Keyin qal'a 1876 yilda Rim-katolik cherkoviga sotilgan va monastir sifatida ishlatilgan. Ikkinchi Jahon urushi paytida qal'a qishloq aholisi uchun boshpana sifatida ishlatilgan. Urush tugagandan so'ng, qal'a 1950-yillarning oxirlarida Gelderland qal'asi tresti tomonidan sotib olinmaguncha qishloq zali sifatida ishlatilgan.
