Het kasteel werd oorspronkelijk gebouwd in 1350 door Dirk van Herlaer langs de Maas. Ammersoyen was een uniek kasteel omdat het werd gebouwd met behulp van een vast plan, dat was in tegenstelling tot andere kastelen gebouwd in deze tijd. Het ontwerp omvatte vier vleugels die werden gebouwd rond een centrale rechtbank. Elke hoek had een eigen zware toren voor extra bescherming. Het kasteel bevatte een poortgebouw en was oorspronkelijk omgeven door een gracht. In die tijd was het een van de mooiste verdedigingswerken van het land. In 1386 ging het kasteel verloren aan hertog van Gelderland, die het aan zijn buitenechtelijke zoon gaf. In 1424 verkocht hij het kasteel aan Johan van Broekhugen, Heer van Waarenburg. Gedurende de volgende vierhonderd jaar wisselde het kasteel alleen handen uit door erfenis. Door de geschiedenis heen werd het kasteel meerdere malen belegerd, waarbij 1513 en 1574 enkele van de meest opmerkelijke gebeurtenissen waren. Het kasteel leed de meeste schade in 1590 toen de kasteeleigenaar Joris Van Arkel werd gedood door zijn verwondingen. Na zijn dood raakte het kasteel in puin tot de 17e eeuw, toen de familie Van Arkel eindelijk genoeg geld bijeenbracht om het kasteel te herstellen. Thomas Van Arkel betaalde de Fransen 7.000 Gulden om het kasteel te redden in 1672 toen Frankrijk Holland doortrok en onderweg vele kastelen verbrandde. Het kasteel mag dan wel overleefd hebben, maar Thomas bleef in de schulden en was nooit in staat om de renovatie van het kasteel te voltooien. Na zijn dood werd het kasteel geërfd door een andere familie. Het kasteel werd vervolgens verkocht aan de Rooms-Katholieke Kerk in 1876 en werd gebruikt als een klooster. Tijdens de Tweede Wereldoorlog werd het kasteel gebruikt als schuilplaats voor dorpsbewoners. Na de oorlog werd het kasteel gebruikt als dorpshuis tot het eind jaren vijftig werd aangekocht door de Gelderse Burcht Trust. sindsdien is het gerestaureerd in zijn oude middeleeuwse glorie.
