O castelo foi orixinalmente construído en 1350 por Dirk van Herlaer ao longo do río Maas. Ammersoyen era un único castelo como foi construído usando un fixo plan, que foi a diferenza doutros castelos construído durante esta época. O proxecto incluía catro ás que foron construídos en torno a un centro tribunal. Cada recuncho tiña o seu propio pesado torre para a protección extra. O castelo incluído un gatehouse e foi orixinalmente rodeado por un foso. Ao tempo, era un dos mellores estruturas defensivas no país. En 1386, o castelo foi perdido para Duque de noord-holland que deu o castelo para o seu fillo ilexítimo. El, entón, vendeu o castelo en 1424 a Johan van Broekhugen, Señor de Waarenburg. Para os catro próximos cen anos, o castelo só cambiou de mans a través de herdanza. Ao longo da historia o castelo foi cercado varias veces con 1513 e 1574 sendo algúns dos máis notables acontecementos. O castelo sufriu máis danos en 1590, cando o castelo propietario Páxina van Arkel morreu dos seus feridas. Despois da súa morte, o castelo caeu en ruína ata o século 17, cando o Van Arkel familia, finalmente, levantou o suficiente diñeiro para restaurar o castelo. Thomas van Arkel pagou o francés de 7.000 floríns para salvar o castelo en 1672, cando a Francia varrido a través de Holanda e queimaron moitos castelos ao longo do camiño. O castelo pode sobreviviron, pero Thomas permaneceu en débeda e nunca foi capaz de rematar o castelo de renovacións. Despois da súa morte, o castelo foi herdado por outra familia. O castelo foi vendido para a Igrexa Católica Romana en 1876 e foi usado como un convento. Durante a II Guerra Mundial, o castelo foi usado como refuxio para os veciños da vila. Unha vez que a guerra foi máis, o castelo foi usado como unha aldea salón, ata que foi adquirido polo noord-holland Castelo de Confianza a finais de 1950. El xa foi restaurado ao seu ex-medieval gloria.