Построен от 1306 г. по време на укрепването на селото от графа на Савоя Амеде V, замъкът Ивоар има военна цел - да следи корабоплаването и да контролира пътя, свързващ Женева с горната част на долината на Рона и Италия. В продължение на няколко века селото Ивоар е в центъра на няколко стратегически или религиозни войни между французите, бернците, женевците, както и между родовете Фосини, Дофине и Савоя. През 1591 г. пожар опустошава сградата, която възвръща сегашния си вид едва през 20 век, когато Феликс Бувие д'Ивоар предприема няколко вътрешни и външни ремонта, включително поставянето на покрива и ъгловите наблюдателни кули през 1939 г.
