Construit începând din 1306, în timpul fortificării satului de către Contele de Savoia, Amédée V, castelul Yvoire avea ca obiectiv militar monitorizarea navigației și controlul drumului care lega Geneva de valea superioară a Rodnei și de Italia. Timp de mai multe secole, satul Yvoire s-a aflat în centrul mai multor războaie strategice sau religioase între francezi, bernezi, genevozi, precum și între casele din Faucigny, Dauphiné și Savoia. În 1591, un incendiu a devastat clădirea, care și-a recăpătat forma actuală abia în secolul al XX-lea, când Félix Bouvier d'Yvoire a întreprins mai multe lucrări de renovare interioară și exterioară, inclusiv instalarea acoperișului și a turnurilor de veghe din colț în 1939.
