Nuo 1306 m. Savojos grafui Amédée V įtvirtinant kaimą, Yvoire pilies karinis tikslas buvo stebėti laivybą ir kontroliuoti kelią, jungiantį Ženevą su aukštutiniu Ronos slėniu ir Italija. Keletą šimtmečių Yvoire kaimas buvo kelių strateginių ar religinių karų tarp prancūzų, bernų, Ženevos, taip pat Faucigny, Dauphiné ir Savoie namų centre. 1591 m. pastatą nusiaubė gaisras, o dabartinę išvaizdą jis atgavo tik XX a., kai Félix Bouvier d'Yvoire ėmėsi kelių vidaus ir išorės renovacijų, įskaitant stogo ir kampinių sargybos bokštelių įrengimą 1939 m.
