Situé près d'une falaise rocheuse et presque entièrement taillé dans la roche, le sanctuaire a été construit là où l'histoire raconte l'apparition de la Madone à une fille de Campolemisi vers l'an 1000. L'image sacrée, esquissée dans une statue en bois de saule, qui existe toujours et constitue un objet de dévotion, est vénérée sous le nom de Madonna della Penna. Le mois de mai est traditionnellement dédié à la Madone et voit la présence de nombreuses personnes qui font le pèlerinage jusqu'à l'Ermitage. La roche vivante est encore visible dans le presbytère et la sacristie, tandis que la petite église primitive a connu différentes phases d'agrandissement et d'enrichissement des structures et des vêtements au fur et à mesure que la renommée et la vénération de la Vierge de la Grotte augmentaient à partir du XIVe siècle. Au début du XVIIIe siècle, la double colonnade de la façade est construite et la grotte est agrandie pour accueillir la sacristie. Les ermites de Calomini en ont pris soin pendant cinq siècles, jusqu'en 1868, et maintenant la garde est confiée aux Pères Capucins de Lucca.
