Kopš 1306. gada, kad Savojas grāfs Amēde V nocietināja ciematu, Yvoire pils tika būvēta, lai uzraudzītu kuģošanu un kontrolētu ceļu, kas savienoja Ženēvu ar augšējo Ronas ieleju un Itāliju. Vairāku gadsimtu garumā Yvoire ciems bija vairāku stratēģisku vai reliģisku karu centrā starp frančiem, berniem, ženēviešiem, kā arī Faucigny, Dauphiné un Savoie mājām. 1591. gadā ēku nopostīja ugunsgrēks, un tagadējo veidolu tā atguva tikai 20. gadsimtā, kad Fēlikss Buvjē d'Īvjērs veica vairākus iekšējos un ārējos remontdarbus, tostarp 1939. gadā uzstādīja jumtu un stūra skatu torņus.
