Az Yvoire-i várat 1306-tól építették V. Amédée savoyai gróf erődítése során, és katonai célja a hajózás felügyelete és a Genfet a Rhone felső völgyével és Olaszországgal összekötő út ellenőrzése volt. Yvoire falu több évszázadon keresztül számos stratégiai vagy vallási háború középpontjában állt a franciák, a berniak, a genfiak, valamint Faucigny, Dauphiné és Savoie házai között. 1591-ben tűzvész pusztított az épületben, amely csak a 20. században nyerte vissza mai formáját, amikor Félix Bouvier d'Yvoire több külső és belső felújítást végzett, többek között 1939-ben a tető és a saroktornyok beépítésével.
