Kastil ini awalnya dibangun pada tahun 1350 oleh Dirk van Herlaer di sepanjang Sungai Maas. Ammersoyen adalah kastil yang unik karena dibangun menggunakan denah tetap, yang tidak seperti Kastil lain yang dibangun selama era ini. Desainnya termasuk empat sayap yang dibangun di sekitar lapangan tengah. Setiap sudut memiliki menara beratnya sendiri untuk perlindungan ekstra. Kastil ini termasuk rumah jaga dan awalnya dikelilingi oleh parit. Pada saat itu, itu adalah salah satu struktur pertahanan terbaik di negara ini. Pada 1386, kastil itu hilang Duke of Gelderland yang memberikan kastil itu kepada putranya yang tidak sah. Dia kemudian menjual Kastil pada tahun 1424 kepada Johan van Broekhugen, penguasa Waarenburg. Selama empat ratus tahun ke depan, kastil hanya bertukar tangan melalui warisan. Sepanjang sejarah kastil dikepung beberapa kali dengan 1513 dan 1574 menjadi beberapa peristiwa yang lebih penting. Kastil ini mengalami kerusakan paling parah pada tahun 1590 ketika pemilik kastil Joris van Arkel terbunuh karena luka-lukanya. Setelah kematiannya, kastil itu hancur hingga abad ke-17 Ketika keluarga Van Arkel akhirnya mengumpulkan cukup uang untuk memulihkan Kastil. Thomas van Arkel membayar 7.000 Gulden Prancis untuk menyelamatkan kastil pada tahun 1672 ketika Prancis menyapu Belanda dan membakar banyak Kastil di sepanjang jalan. Kastil itu mungkin selamat, tetapi Thomas tetap berhutang dan tidak pernah bisa menyelesaikan renovasi Kastil. Setelah kematiannya, kastil itu diwarisi oleh keluarga lain. Kastil itu kemudian dijual ke Gereja Katolik Roma pada tahun 1876 dan digunakan sebagai biara. Selama Perang Dunia II, kastil ini digunakan sebagai tempat berlindung bagi penduduk desa. Setelah perang usai, kastil ini digunakan sebagai balai desa sampai dibeli oleh Gelderland Castle Trust pada akhir 1950-an. sejak itu telah dikembalikan ke kejayaan abad pertengahan sebelumnya.