Situado perto de um penhasco rochoso e esculpido quase inteiramente na rocha, o santuário foi construído onde a história vai da aparição da Madonna a uma rapariga de Campolemisi por volta do ano 1000. A imagem sagrada, delineada numa estátua em madeira de salgueiro, que ainda existe e é um objecto de devoção, é venerada sob o nome de Madonna della Penna. O mês de Maio é tradicionalmente dedicado à Madonna e vê a presença de muitas pessoas que fazem a peregrinação até ao Hermitage. A rocha viva é ainda visível no presbitério e sacristia, enquanto a pequena igreja primitiva passou por várias fases de ampliação e enriquecimento de estruturas e vestes, à medida que a fama e veneração da Virgem da Gruta crescia a partir do século XIV. No início do século XVIII, a dupla colunata da fachada foi construída e a gruta ampliada para acomodar a sacristia. Os eremitas de Calomini cuidaram dela durante cinco séculos, até 1868, e agora a custódia é confiada aos Padres Capuchinhos de Lucca.
