Istana ini pada mulanya dibina pada tahun 1350 oleh Dirk van Herlaer di sepanjang Sungai Maas. Ammersoyen adalah istana yang unik kerana dibina menggunakan pelan tetap, yang tidak seperti istana lain yang dibina pada era ini. Reka bentuknya merangkumi empat sayap yang dibina di sekitar gelanggang tengah. Setiap sudut mempunyai menara berat sendiri untuk perlindungan tambahan. Istana ini merangkumi gerbang dan pada awalnya dikelilingi oleh parit. Pada masa itu, ia adalah salah satu struktur pertahanan terbaik di negara ini. Pada tahun 1386, istana itu hilang Duke of Gelderland yang memberikan istana itu kepada anaknya yang tidak sah. Dia kemudian menjual istana pada tahun 1424 kepada Johan van Broekhugen, tuan Waarenburg. Selama empat ratus tahun ke depan, istana hanya bertukar tangan melalui pewarisan. Sepanjang sejarah Istana dikepung beberapa kali dengan tahun 1513 dan 1574 menjadi beberapa peristiwa yang lebih terkenal. Istana ini mengalami kerosakan paling banyak pada tahun 1590 ketika pemilik istana Joris van Arkel terbunuh akibat kecederaannya. Selepas kematiannya, istana itu hancur hingga abad ke-17 ketika keluarga Van Arkel akhirnya mengumpulkan cukup wang untuk memulihkan istana. Thomas van Arkel membayar 7,000 Guild Perancis untuk menyelamatkan istana pada tahun 1672 ketika Perancis menyapu Belanda dan membakar banyak istana di sepanjang jalan. Istana ini mungkin masih bertahan, tetapi Thomas tetap berhutang dan tidak pernah dapat menyelesaikan pengubahsuaian istana. Selepas kematiannya, istana itu diwarisi oleh keluarga lain. Istana ini kemudian dijual kepada Gereja Katolik Rom pada tahun 1876 dan digunakan sebagai biara. Semasa Perang Dunia II, Istana ini digunakan sebagai tempat perlindungan bagi penduduk kampung. Setelah perang berakhir, istana ini digunakan sebagai Balai desa sehingga dibeli oleh Gelderland Castle Trust pada akhir 1950-an. sejak itu ia dikembalikan ke kegemilangan abad pertengahannya.
