Hrad Yvoire bol postavený v roku 1306 počas opevňovania obce savojským grófom Amédeom V. a jeho vojenským cieľom bolo monitorovať plavbu a kontrolovať cestu spájajúcu Ženevu s horným údolím rieky Rona a Talianskom. Počas niekoľkých storočí bola obec Yvoire centrom viacerých strategických alebo náboženských vojen medzi Francúzmi, Bernčanmi, Ženevčanmi, ako aj rodmi Faucigny, Dauphiné a Savoie. V roku 1591 budovu spustošil požiar a svoju súčasnú podobu získala až v 20. storočí, keď Félix Bouvier d'Yvoire uskutočnil niekoľko vnútorných a vonkajších renovácií vrátane inštalácie strechy a nárožných strážnych veží v roku 1939.
