Le château Cafaggiolo était une résidence des Médicis, utilisée par la puissante famille toscane plutôt pour des réceptions, des bals et des fêtes pour des invités illustres. À l'origine, il s'agissait d'une forteresse miniature, avec deux tours, un pont-levis, des murs et des douves. Aujourd'hui, il ne reste que très peu de ces structures, peut-être en raison des rénovations effectuées par les princes bourgeois qui ont acheté le château en 1864. Ce château est l'un des grands chefs-d'œuvre de l'architecture de la Renaissance. La structure originale remonte à 1300, lorsqu'elle était une forteresse de la République ; elle a été transformée en bâtiment résidentiel en 1443 par Michelozzo, sous les ordres directs de Cosimo l'Ancien. Résidence d'été de la famille Médicis, elle était particulièrement appréciée de Laurent de Médicis, qui y passa son adolescence et y accueillit souvent sa cour de philosophes humanistes. En 1537, la villa devint la propriété du duc Cosimo I, qui l'agrandit en construisant une grande réserve de chasse, habitée surtout pendant les mois d'automne par ses fils Francesco I et Ferdinando I. Au XVIe siècle, le château subit de nouvelles modifications, avec l'ajout d'un bâtiment avec une loggia à l'arrière. En 1864, le château de Cafaggiolo fut vendu aux princes Borghese, qui le transformèrent radicalement en abattant la tour arrière, en enterrant les douves et en ouvrant un grand arc dans les murs. Malgré les changements qu'elle a subis au fil des ans, la villa conserve des éléments originaux de l'époque de Michelozzo (les motifs décoratifs de la porte principale, les chapiteaux et les corbeaux des décorations en pietra serena), ainsi que les écuries du XVIe siècle.
