Grad Yvoire, ki ga je savojski grof Amédée V. gradil od leta 1306, je imel vojaški namen nadzorovati plovbo in nadzorovati cesto, ki je povezovala Ženevo z zgornjo dolino reke Rone in Italijo. Vas Yvoire je bila več stoletij v središču več strateških ali verskih vojn med Francozi, Bernčani, Ženevčani ter hišami Faucigny, Dauphiné in Savoie. Leta 1591 je stavbo opustošil požar, sedanjo podobo pa je dobila šele v 20. stoletju, ko je Félix Bouvier d'Yvoire izvedel več notranjih in zunanjih prenov, med drugim je leta 1939 postavil streho in vogalne stražne stolpe.
