Першапачаткова замак быў пабудаваны ў 1350 годзе Дырк ван Херлаер ўздоўж ракі Маас. Аммерсоен быў унікальным замкам, паколькі ён быў пабудаваны па фіксаваным плане, які адрозніваўся ад іншых замкаў, пабудаваных у гэтую эпоху. Праект уключаў у сябе чатыры крыла, якія былі пабудаваныя вакол цэнтральнага корта. У кожным куце была свая цяжкая вежа для дадатковай абароны. Замак уключаў у сябе вартоўню і першапачаткова быў акружаны ровам. У той час гэта было адно з лепшых абарончых збудаванняў у краіне. У 1386 годзе замак быў страчаны герцагам Гелдэрландскім, які перадаў замак свайму незаконнанароджанаму сыну. Затым у 1424 годзе ён прадаў замак Ёхану ван Бракхугену, лорду Ваарэнбурга. На працягу наступных чатырохсот гадоў замак пераходзіў з рук у рукі толькі па спадчыне. На працягу ўсёй гісторыі замак некалькі разоў падвяргаўся аблозе, найбольш прыкметнымі падзеямі былі 1513 і 1574 гады. Больш за ўсё замак пацярпеў у 1590 годзе, калі ўладальнік замка Ёрыс ван Аркель быў забіты ад атрыманых траўмаў. Пасля яго смерці замак прыйшоў у заняпад аж да 17 стагоддзя, калі сям'я Ван Аркель нарэшце сабрала дастаткова грошай, каб аднавіць замак. Томас ван Аркель заплаціў французам 7000 гульдэнаў за Выратаванне замка ў 1672 годзе, калі Францыя пранеслася па Галандыі і спаліла па шляху мноства замкаў. Замак, магчыма, і ацалеў, але Томас застаўся ў даўгах і так і не змог скончыць рэканструкцыю замка. Пасля яго смерці замак атрымала ў спадчыну іншая сям'я. Затым у 1876 годзе замак быў прададзены Рымска-каталіцкай царквы і выкарыстоўваўся як жаночы манастыр. Падчас Другой сусветнай вайны замак выкарыстоўваўся ў якасці прытулку для жыхароў вёскі. Пасля заканчэння вайны замак выкарыстоўваўся ў якасці сельскай Ратушы, пакуль у канцы 1950-х гадоў яго не набыў фонд замка Гелдэрланд. З тых часоў ён быў адноўлены ў сваім мінуўшчыне сярэднявечным пышнасці.