Yvoire-slottet blev bygget fra 1306 og fremefter, da greven af Savoyen, Amédée V, befæstede landsbyen, og havde det militære formål at overvåge sejladsen og kontrollere vejen, der forbandt Geneve med den øvre Rhone-dal og Italien. I flere århundreder var landsbyen Yvoire centrum for adskillige strategiske eller religiøse krige mellem franskmændene, Bernerne, Genevois, samt husene Faucigny, Dauphiné og Savoie. I 1591 hærgede en brand bygningen, som først genvandt sin nuværende form i det 20. århundrede, da Félix Bouvier d'Yvoire foretog flere indvendige og udvendige renoveringer, bl.a. med tag og hjørnevagttårne i 1939.
