Het kasteel van Yvoire, gebouwd vanaf 1306 tijdens de versterking van het dorp door de graaf van Savoye, Amédée V, had als militair doel de scheepvaart te bewaken en de weg te controleren die Genève verbond met het hoger gelegen Rhônedal en Italië. Gedurende verschillende eeuwen lag het dorp Yvoire in het hart van verschillende strategische of religieuze oorlogen tussen de Fransen, Berners, Genevois en de huizen van Faucigny, Dauphiné en Savoie. In 1591 verwoestte een brand het gebouw, dat pas in de 20e eeuw zijn huidige vorm terugkreeg, toen Félix Bouvier d'Yvoire verschillende binnen- en buitenrenovaties uitvoerde, waaronder de plaatsing van het dak en de hoekwachttorens in 1939.
