Pils sākotnēji tika uzcelta 1350. gadā Dirks van Herlaers gar Maas upi. Ammersojena bija unikāla pils, jo tā tika uzcelta, izmantojot fiksētu plānu, kas atšķirībā no citām šajā laikmetā uzceltajām pilīm. Dizains ietvēra četrus spārnus, kas tika uzbūvēti ap centra laukumu. Katram stūrim bija savs smagais tornis papildu aizsardzībai. Pils ietvēra vārtu namu, un sākotnēji to ieskauj grāvis. Tajā laikā tā bija viena no labākajām aizsardzības struktūrām valstī. 1386. gadā pils tika pazaudēta Gelderlandes hercogam, kurš pili atdeva savam ārlaulības dēlam. Pēc tam viņš 1424.gadā pili pārdeva Johans van Broekhugens, Vaarenburgas Lords. Nākamos četrus simtus gadu pils apmainījās ar rokām tikai mantojuma ceļā. Vēstures gaitā pils vairākas reizes tika ielenkta, un 1513.un 1574. gads bija daži no ievērojamākajiem notikumiem. Visvairāk postījumu pils cieta 1590.gadā, kad pils īpašnieks Joriss van Arkels tika nogalināts no gūtajām traumām. Pēc viņa nāves pils sabruka līdz 17. gadsimtam, kad Van Arkelu ģimene beidzot savāca pietiekami daudz naudas, lai atjaunotu pili. Tomass van Arkels samaksāja francūžiem 7000 guldeņu par pils glābšanu 1672.gadā, kad Francija slaucīja Cauri Holandei un pa ceļam sadedzināja daudzas pilis. Iespējams, ka pils ir saglabājusies, taču Tomass palika parādos un nekad nespēja pabeigt pils atjaunošanu. Pēc viņa nāves pili mantoja cita ģimene. Pēc tam pils 1876.gadā tika pārdota Romas katoļu baznīcai un tika izmantota kā klosteris. Otrā pasaules kara laikā pils tika izmantota kā pajumte ciema iedzīvotājiem. Kad karš bija beidzies, pils tika izmantota kā ciemata zāle, līdz 50. gadu beigās to iegādājās Gelderlandes pils trests.kopš tā laika tā ir atjaunota bijušajā viduslaiku krāšņumā.