Построенный в 1306 году во время укрепления деревни графом Савойским Амедеем V, замок Ивуар имел военную цель - следить за навигацией и контролировать дорогу, связывающую Женеву с верхней частью долины Роны и Италией. На протяжении нескольких веков деревня Ивуар находилась в центре нескольких стратегических или религиозных войн между французами, бернцами, женевцами, а также домами Фосиньи, Дофине и Савойи. В 1591 году пожар опустошил здание, которое обрело свой нынешний вид только в 20 веке, когда Феликс Бувье д'Ивуар провел несколько внутренних и внешних реконструкций, включая установку крыши и угловых сторожевых башен в 1939 году.
