Lâu đài đã được xây dựng vào 1350 bởi Găm van Herlaer dọc theo sông Meuse. Ammersoyen là một lâu đài độc đáo như nó đã được xây dựng bằng cách sử dụng một kế hoạch cố định, mà là không giống như các lâu đài được xây dựng trong thời đại này. Các thiết bao gồm bốn cánh mà được xây dựng trên một trung tâm của tòa án. Mỗi góc đã có riêng của mình nặng tháp cho thêm sự bảo vệ. Lâu đài bao gồm một nhà và được bao quanh bởi một con hào. Tại thời điểm đó, nó là một trong những phòng thủ tốt nhất cấu trúc trong nước. Trong 1386, lâu đài đã bị mất Duke hà lan, người đã cho lâu đài của mình, đứa con trai. Sau đó, ông bán lâu đài trong 1424 để Johan van Broekhugen, Chúa tể của Waarenburg. Cho tới bốn trăm năm, những lâu đài chỉ trao đổi tay qua thừa kế. Trong suốt lịch sử lâu đài đã bị bao vây nhiều lần với 1513 và 1574 được, một số sự kiện đáng chú ý. Lâu đài bị thiệt hại nhất trong 1590 khi lâu đài chủ Ramon van Arkel đã bị giết từ vết thương của mình. Sau khi ông chết, lâu đài rơi vào hủy hoại cho đến thế kỷ 17 khi Van Arkel gia đình cuối cùng lớn lên đủ tiền để khôi phục lại trong lâu đài. Thomas van Arkel trả pháp 7,000 guilders để tiết kiệm lâu đài trong 1672 khi Pháp quét qua hà Lan và đốt nhiều lâu đài trên đường đi. Lâu đài có thể sống sót, nhưng Thomas vẫn còn nợ và đã không bao giờ có thể kết thúc lâu đài sửa chữa. Sau khi ông chết, lâu đài được kế thừa bởi một gia đình. Lâu đài được rồi bán cho các công Giáo La mã vào năm 1876 và đã sử dụng như một tu viện. Trong Thế Chiến II, lâu đài được sử dụng là nơi trú ẩn cho cư dân làng. Một khi chiến tranh kết thúc, lâu đài được dùng như một ngôi làng hall cho đến khi nó được mua bởi người hà lan lâu Đài Tin tưởng ở cuối những năm 1950. Nó đã được phục hồi nó cựu thời trung cổ vinh quang.
