1306 yılından itibaren Savoy Kontu V. Amédée tarafından köyün tahkimatı sırasında inşa edilen Yvoire kalesi, Cenevre'yi yukarı Rhone vadisine ve İtalya'ya bağlayan yolu kontrol etmek ve navigasyonu izlemek gibi askeri bir amaca sahipti. Birkaç yüzyıl boyunca Yvoire köyü, Fransızlar, Bernliler, Cenevizliler ve Faucigny, Dauphiné ve Savoie evleri arasındaki birçok stratejik veya dini savaşın merkezinde yer almıştır. 1591 yılında çıkan bir yangında harap olan bina, ancak 20. yüzyılda Félix Bouvier d'Yvoire'in 1939 yılında çatı ve köşe gözetleme kulelerinin montajı da dahil olmak üzere çeşitli iç ve dış tadilatlar gerçekleştirmesiyle bugünkü halini almıştır.
