Byggd 1608 slutfördes alla verk 1660. Cardinals Passionei, 1738, gjorde det till ett centrum för kulturer och socialt liv och lade till ett landboende för sig själv och sin familj, vilket gjorde att Hermitage förlorade sin ursprungliga miljö av Hermitage. När kardinalen dog revs alla byggnader han gjorde. Munkarna övergav Eremitaget i samband med Napoleons (1810-15) och italienska (1873-96) undertryckningar. Efter undertryckandet av eremiternas församling och blev Generalaten för församlingen för de Camaldolesiska eremiterna i Monte Corona och säte för Novitiate.
Top of the World