Ang kastilyo ay orihinal na itinayo noong 1350 ni Dirk van Herlaer sa kahabaan ng ilog Maas. Ang Ammersoyen ay isang natatanging kastilyo dahil itinayo ito gamit ang isang nakapirming plano, na hindi katulad ng iba pang mga kastilyo na itinayo sa panahong ito. Kasama sa disenyo ang apat na mga pakpak na itinayo sa paligid ng isang center court. Ang bawat sulok ay may sariling mabibigat na tore para sa labis na proteksyon. Kasama sa kastilyo ang isang gatehouse at orihinal na napapalibutan ng isang moat. Sa oras na ito, ito ay isa sa mga pinakamahusay na nagtatanggol na istruktura sa bansa. Noong 1386, ang kastilyo ay nawala kay Duke ng Gelderland na nagbigay ng kastilyo sa kanyang iligal na anak. Pagkatapos ay ipinagbili niya ang kastilyo noong 1424 kay Johan van Broekhugen, Panginoon ng Waarenburg. Sa susunod na apat na daang taon, ang kastilyo ay nagpalitan lamang ng mga kamay sa pamamagitan ng mana. Sa buong kasaysayan ang kastilyo ay kinubkob ng maraming beses na may 1513 at 1574 na ilan sa mga mas kilalang mga kaganapan. Ang kastilyo ay nagdusa ng pinakamaraming pinsala noong 1590 nang ang may-ari ng kastilyo na si Joris van Arkel ay pinatay mula sa kanyang mga pinsala. Matapos ang kanyang kamatayan, ang kastilyo ay nahulog sa pagkawasak hanggang sa ika-17 siglo nang ang pamilya Van Arkel sa wakas ay nagtaas ng sapat na pera upang maibalik ang kastilyo. Thomas van Arkel binayaran ang Pranses 7,000 guilders upang i-save ang kastilyo sa 1672 Kapag France swept sa pamamagitan ng Holland at sinunog maraming kastilyo sa kahabaan ng paraan. Ang kastilyo ay maaaring nakaligtas, ngunit si Thomas ay nanatili sa utang at hindi kailanman natapos ang mga renovations ng kastilyo. Pagkamatay niya, ang kastilyo ay minana ng ibang pamilya. Ang kastilyo ay pagkatapos ay ibinebenta sa Simbahang Romano Katoliko noong 1876 at ginamit bilang isang kumbento. Sa panahon ng World War II, ang kastilyo ay ginamit bilang kanlungan para sa mga residente ng nayon. Kapag natapos na ang digmaan, ang kastilyo ay ginamit bilang isang bulwagan ng nayon hanggang sa ito ay binili ng tiwala ng kastilyo ng Gelderland noong huling bahagi ng 1950s.
Top of the World