Het kasteel van Cafaggiolo was een Medici residentie, gebruikt door de machtige Toscaanse familie meer dan wat dan ook om recepties dansen en feesten voor illustere gasten te geven. Oorspronkelijk was het een echte miniatuur vesting, met twee torens, de ophaalbrug, muren en sloten, maar vandaag van al deze structuren blijft zeer weinig, misschien als gevolg van de renovaties gemaakt door de burgerlijke prinsen die het kasteel in 1864 kochten. Dit kasteel is een van de grote meesterwerken van de Renaissance architectuur. De oorspronkelijke plant dateert uit 1300, toen het een vesting van de republiek was; in 1443, door Michelozzo, onder de directe orde van Cosimo il vecchio omgezet in een woongebouw. Zomerresidentie van de familie Medici, het was vooral geliefd bij Lorenzo De ' Medici, die zijn adolescentie daar doorbracht en vaak gastheer was van zijn hof van Humanistische filosofen. In 1537, werd de villa eigendom van de hertog Cosimo I, die uitgebreid door het bouwen van een groot jachtreservaat, bewoond, vooral in de herfst maanden ook door kinderen Francesco I en Ferdinando I, in de '500, Het Kasteel onderging verdere veranderingen, met de toevoeging op de achterkant van een gebouw met een loggia. In 1864 werd het kasteel van Cafaggiolo verkocht aan de burgerlijke prinsen, die radicale veranderingen maakten met de sloop van de achterste toren, de begrafenis van de gracht en de opening van een grote boog in de muren. Ondanks de veranderingen die door de jaren heen zijn ondergaan, behoudt de villa nog steeds originele elementen uit het tijdperk van Michelozzo (de decoratieve motieven van de deur, de kapitelen en de steeltjes van de decoraties in pietra serena...), evenals de stallen van de zestiende eeuw.
