Dibangun dari tahun 1306 dan seterusnya selama benteng desa oleh Count of Savoy, Amédée V, kastil Yvoire memiliki tujuan militer untuk memantau navigasi dan mengendalikan jalan yang menghubungkan Jenewa ke lembah Rhone atas dan Italia. Selama beberapa abad, desa Yvoire berada di jantung beberapa perang strategis atau keagamaan antara Prancis, Bernese, Genevois, serta rumah-rumah Faucigny, Dauphiné dan Savoie. Pada tahun 1591, kebakaran meluluhlantakkan bangunan ini, yang baru mendapatkan kembali bentuknya yang sekarang pada abad ke-20, ketika Félix Bouvier d'Yvoire melakukan beberapa renovasi interior dan eksterior, termasuk pemasangan atap dan menara pengawas sudut pada tahun 1939.
