Slottet i Yvoire byggdes från 1306 och framåt i samband med att greven av Savoyen, Amédée V, befäste byn och hade som militärt mål att övervaka sjöfarten och kontrollera vägen som förbinder Genève med den övre Rhonedalen och Italien. Under flera århundraden har byn Yvoire stått i centrum för flera strategiska eller religiösa krig mellan fransmännen, Bernarna, Genevois och Faucigny, Dauphiné och Savoie. År 1591 brann byggnaden och återfick sin nuvarande form först på 1900-talet, då Félix Bouvier d'Yvoire genomförde flera inre och yttre renoveringar, bland annat genom att sätta upp taket och hörntornen 1939.
