Das Schloss wurde ursprünglich 1350 von Dirk van Herlaer an der Maas erbaut. Ammersoyen war ein einzigartiges Schloss, da es im Gegensatz zu anderen Schlössern dieser Epoche nach einem festen Plan gebaut wurde. Der Entwurf umfasste vier Flügel, die um einen zentralen Hof herum gebaut wurden. Jede Ecke hatte ihren eigenen schweren Turm zum zusätzlichen Schutz. Die Burg verfügte über ein Torhaus und war ursprünglich von einem Wassergraben umgeben. Zu dieser Zeit war sie eine der besten Verteidigungsanlagen des Landes. Im Jahr 1386 ging die Burg an den Herzog von Gelderland verloren, der sie an seinen unehelichen Sohn verschenkte. Dieser verkaufte die Burg im Jahr 1424 an Johan van Broekhugen, den Herrn von Waarenburg. In den folgenden vierhundert Jahren wechselte die Burg nur durch Vererbung den Besitzer. Im Laufe der Geschichte wurde die Burg mehrmals belagert, wobei die Jahre 1513 und 1574 zu den bemerkenswertesten Ereignissen gehörten. Den größten Schaden erlitt das Schloss 1590, als der Schlossbesitzer Joris van Arkel an seinen Verletzungen starb. Nach seinem Tod verfiel die Burg bis ins 17. Jahrhundert, als die Familie van Arkel endlich genug Geld aufbrachte, um die Burg zu restaurieren. Thomas van Arkel zahlte den Franzosen 7.000 Gulden, um das Schloss 1672 zu retten, als die Franzosen durch Holland zogen und dabei viele Schlösser niederbrannten. Das Schloss hat zwar überlebt, aber Thomas blieb verschuldet und konnte die Renovierung des Schlosses nie abschließen. Nach seinem Tod wurde das Schloss von einer anderen Familie geerbt. Im Jahr 1876 wurde das Schloss an die römisch-katholische Kirche verkauft und als Kloster genutzt. Während des Zweiten Weltkriegs diente das Schloss als Unterkunft für die Dorfbewohner. Nach dem Krieg wurde das Schloss als Dorfgemeinschaftshaus genutzt, bis es in den späten 1950er Jahren von der Stiftung Schloss Gelderland erworben wurde. Seitdem wurde die Burg in ihrem früheren mittelalterlichen Glanz restauriert.