Bygget i 1608 blev alle værker afsluttet i 1660. Cardinals Passionei gjorde det i 1738 til et centrum for Kulturer og det sociale liv og tilføjede en landbolig for sig selv og sin familie, hvilket fik Hermitage til at miste sin oprindelige indstilling af Hermitage. Da kardinalen døde, blev alle de bygninger, han lavede, revet ned. Munkene opgav Hermitage i anledning af Napoleons (1810-15) og italienske (1873-96) undertrykkelser. Efter undertrykkelsen af menigheden af eremitter og blev Generalate af menigheden af Camaldolese eremitter af Monte Corona og sæde for Novitiate.
