El castell de Cafaggiolo va ser un dels Mèdici residència, que utilitzen els poderosos de la Toscana, la família més que res per donar recepcions balls i festes per il·lustres convidats. Originalment, va ser un veritable miniatura fortalesa, amb dues torres, el pont llevadís, i parets de rases, però avui, de totes aquestes estructures es manté molt poc, potser a causa de la reforma realitzada per la burgesia prínceps que va comprar el castell l'any 1864. Aquest castell és una de les obres mestres de l'arquitectura Renaixentista. La planta original es remunta a l'any 1300, quan va ser una fortalesa de la República; transforma en un edifici residencial en 1443, per Michelozzo, sota ordre directa de Cosimo il vecchio. Residència d'estiu de la família Medici, era especialment estimat per Lorenzo De' Medici, qui va passar la seva adolescència hi i sovint va acollir la seva cort humanista de filòsofs. En 1537, la vila es va convertir en la propietat del duc Cosimo jo, que ampliat amb la construcció d'una gran reserva de caça, habitat, especialment en els mesos de tardor també és per a nens de Francesco i i fernando era jo, en la '500, el Castell va patir més canvis, amb la incorporació a la part posterior d'un edifici amb una loggia. En 1864 El Castell de Cafaggiolo va ser venuts a la burgesia prínceps, que va fer un canvi radical amb l'enderroc de la part posterior de la torre, l'enterrament de el fossat i l'obertura d'un gran arc a les parets. Malgrat els canvis que ha experimentat en els últims anys, la vila encara conserva elements originals de Michelozzo de l'època (els motius decoratius de la porta, els Capitells i els peduncles de les decoracions en pietra serena...), així com les cavallerisses del segle xvi.
