Χτισμένο από το 1306 και μετά κατά τη διάρκεια της οχύρωσης του χωριού από τον κόμη της Σαβοΐας, Amédée V, το κάστρο του Yvoire είχε ως στρατιωτικό στόχο την παρακολούθηση της ναυσιπλοΐας και τον έλεγχο του δρόμου που συνέδεε τη Γενεύη με την άνω κοιλάδα του Ροδανού και την Ιταλία. Για αρκετούς αιώνες, το χωριό Yvoire βρέθηκε στο επίκεντρο αρκετών στρατηγικών ή θρησκευτικών πολέμων μεταξύ των Γάλλων, των Βερνερών, των Γενουατών, καθώς και των οίκων Faucigny, Dauphiné και Savoie. Το 1591, μια πυρκαγιά κατέστρεψε το κτίριο, το οποίο ανέκτησε τη σημερινή του μορφή μόλις τον 20ό αιώνα, όταν ο Félix Bouvier d'Yvoire ανέλαβε διάφορες εσωτερικές και εξωτερικές ανακαινίσεις, συμπεριλαμβανομένης της τοποθέτησης της οροφής και των γωνιακών παρατηρητηρίων το 1939.
