Побудований у 1306 році під час укріплення села графом Савойї Амеде V, замок Івуар мав військове призначення для спостереження за судноплавством і контролю за дорогою, що з'єднувала Женеву з долиною верхньої Рони та Італією. Протягом кількох століть село Івуар було в центрі кількох стратегічних або релігійних воєн між французами, бернцями, женевцями, а також будинками Фовіньї, Дофіне і Савойї. У 1591 році пожежа спустошила будівлю, яка набула нинішнього вигляду лише у 20 столітті, коли Фелікс Був'є д'Івуар провів кілька внутрішніх і зовнішніх ремонтів, включаючи встановлення даху і кутових сторожових веж у 1939 році.
