Dvorac Cafaggiolo bio je rezidencija Medici, koju koristi moćna toskanska obitelj više od svega kako bi davala prijeme i zabave za izvrsne goste. Izvorno je bila prava utvrda u minijaturi, s dva tornja, mostovima za podizanje, zidinama i jarkama, ali danas je vrlo malo ostalo od svih tih struktura, možda za popravke koje su napravili buržoaski knezovi koji su kupili dvorac 1864.godine. Ovaj dvorac jedno je od najvećih remek-djela renesansne arhitekture. Biljka podrijetla datira iz 1300-a, vremena kada je bila tvrđava Republike; pretvorena u stambenu zgradu 1443.godine, na inicijativu Michelozzo, po izravnom nalogu Cosima Vecchio. Ljetna rezidencija obitelji Medici posebno je voljela Lorenzo de Medici, koji je tamo proveo adolescenciju i često je domaćin svoje dvorište humanističkih filozofa. Godine 1537. vila je postala vlasništvo vojvode Cosima i, koja ga je proširila izgradnjom velikog lovačkog rezervata, naseljenog osobito u jesenskim mjesecima od strane sinova Francesco I i Ferdinanda I; dvorac je prošao dodatne promjene 1500.godine, uz dodatak na stražnjoj strani zgrade s loggiom. U 1864-u, dvorac Cafaggiolo prodan je knezovima Borghese, koji su u njemu napravili drastične promjene s rezanjem stražnjeg tornja, ukopom jarka i otvaranjem velikog luka u zidovima cinta. Unatoč promjenama koje su se dogodile tijekom godina, vila i dalje zadržava elemente koji potječu iz razdoblja Michelozzo (ukrasni motivi vrata, kapiteli i peducci nakita od kamena Serena...), kao i staje iz doba šesnaestog stoljeća.
