这座城堡最初建于1350年，由Dirk van Herlaer沿着马斯河建造。 Ammersoyen是一座独特的城堡，因为它使用固定的计划建造，这与这个时代建造的其他城堡不同。 设计包括围绕中心球场建造的四个机翼。 每个角落都有自己的重塔，以提供额外的保护。 城堡包括一个门楼，最初被护城河包围。 当时，它是该国最好的防御结构之一。 1386年，这座城堡输给了盖尔德兰公爵，他把城堡交给了他的私生子。 然后他在1424年将这座城堡卖给了瓦伦堡的领主约翰*范*布罗克胡根。 在接下来的四百年里，城堡只是通过继承交换了手。 纵观历史，这座城堡被多次围困，1513年和1574年是一些更显着的事件。 城堡在1590年遭受了最大的破坏，当时城堡主人Joris van Arkel因受伤而死亡。 在他去世后，城堡陷入了废墟，直到17世纪，范阿克尔家族终于筹集了足够的资金来恢复城堡。 托马斯*范*阿克尔（Thomas van Arkel）于1672年向法国支付了7000荷兰盾来拯救这座城堡，当时法国横扫荷兰并烧毁了沿途的许多城堡。 这座城堡可能幸存下来，但托马斯仍然欠债，永远无法完成城堡的整修。 他死后，城堡被另一个家族继承。 这座城堡于1876年被卖给罗马天主教会，并被用作修道院。 在第二次世界大战期间，城堡被用作村庄居民的避难所。 战争结束后，这座城堡一直被用作村厅，直到20世纪50年代末被盖尔德兰城堡信托基金收购。
