Спочатку замок був побудований в 1350 році Дірком ван Херлаером уздовж річки Маас. Аммерсоен був унікальним замком, оскільки він був побудований за фіксованим планом, який відрізнявся від інших замків, побудованих в цю епоху. Проект включав в себе чотири крила, які були побудовані навколо центрального корту. У кожному кутку була своя важка вежа для додаткового захисту. Замок включав в себе сторожку і спочатку був оточений ровом. У той час це було одне з кращих оборонних споруд в країні. У 1386 році замок був втрачений герцогом Гелдерландським, який передав замок своєму незаконнонародженому синові. Потім в 1424 році він продав замок Йохану ван Брокхугену, лорду Вааренбурга. Протягом наступних чотирьохсот років замок переходив з рук в руки тільки у спадок. Протягом всієї історії замок кілька разів піддавався облозі, найбільш помітними подіями були 1513 і 1574 роки. Найбільше замок постраждав в 1590 році, коли власник замку Йоріс ван Аркель був убитий від отриманих травм. Після його смерті замок занепав аж до 17 століття, коли сім'я Ван Аркель нарешті зібрала достатньо грошей, щоб відновити замок. Томас ван Аркель заплатив французам 7000 гульденів за порятунок замку в 1672 році, коли Франція пронеслася по Голландії і спалила по дорозі безліч замків. Замок, можливо, і вцілів, але Томас залишився в боргах і так і не зміг закінчити реконструкцію замку. Після його смерті замок успадкувала інша сім'я. Потім в 1876 році замок був проданий Римсько-католицької церкви і використовувався як жіночий монастир. Під час Другої світової війни замок використовувався як притулок для жителів села. Після закінчення війни замок використовувався в якості сільської ратуші, поки в кінці 1950-х років його не придбав фонд замку Гелдерланд. З тих пір він був відновлений у своєму колишньому середньовічному пишноті.
