El castillo de Cafaggiolo era una residencia de los Medici, utilizada por la poderosa familia toscana más para recepciones, bailes y fiestas de invitados ilustres. Originalmente era una fortaleza en miniatura, con dos torres, un puente levadizo, murallas y fosos. Sin embargo, hoy en día queda muy poco de estas estructuras, quizás debido a las renovaciones realizadas por los príncipes burgueses que compraron el castillo en 1864. Este castillo es una de las grandes obras maestras de la arquitectura renacentista. La estructura original data de 1300, cuando era una fortaleza de la República; fue transformada en edificio residencial en 1443 por Michelozzo, bajo las órdenes directas de Cosme el Viejo. Residencia de verano de la familia Médicis, fue especialmente apreciada por Lorenzo de Médicis, que pasó allí su adolescencia y acogió a menudo a su corte de filósofos humanistas. En 1537 la villa pasó a ser propiedad del duque Cosimo I, que la amplió construyendo un gran coto de caza, habitado especialmente en los meses de otoño por sus hijos Francesco I y Ferdinando I. En el siglo XVI el castillo sufrió nuevas modificaciones, con la adición de un edificio con logia en la parte trasera. En 1864, el castillo de Cafaggiolo fue vendido a los príncipes Borghese, que lo modificaron radicalmente derribando la torre trasera, enterrando el foso y abriendo un gran arco en los muros. A pesar de los cambios que ha sufrido a lo largo de los años, la villa conserva elementos originales de la época de Michelozzo (los motivos decorativos de la puerta principal, los capiteles y ménsulas de las decoraciones en pietra serena), así como las caballerizas del siglo XVI.
