Situat în apropierea unei stânci și sculptat aproape în întregime în stâncă, sanctuarul a fost construit acolo unde se povestește despre apariția Madonei unei fete din Campolemisi în jurul anului 1000. Imaginea sacră, conturată într-o statuie din lemn de salcie, care încă există și este obiect de devoțiune, este venerată sub numele de Madonna della Penna. Luna mai este dedicată în mod tradițional Madonei și se bucură de prezența a numeroase persoane care fac pelerinajul până la Ermitaj. Piatra vie este încă vizibilă în prezbiteriu și în sacristie, în timp ce mica biserică primitivă a trecut prin diferite faze de extindere și îmbogățire a structurilor și a veșmintelor, pe măsură ce faima și venerarea Fecioarei din Grotă a crescut începând cu secolul al XIV-lea. La începutul secolului al XVIII-lea, a fost construit colonada dublă a fațadei, iar grota a fost mărită pentru a găzdui sacristia. Pustnicii din Calomini au avut grijă de ea timp de cinci secole, până în 1868, iar acum custodia este încredințată părinților capucini din Lucca.
