Het heiligdom, dat bijna geheel in de rots is uitgehouwen, is gebouwd op de plaats waar het verhaal gaat over de verschijning van de Madonna aan een meisje uit Campolemisi rond het jaar 1000. Het heilige beeld, geschetst in een wilgenhouten beeld, dat nog steeds bestaat en een object van devotie is, wordt vereerd onder de naam Madonna della Penna. De maand mei is traditioneel gewijd aan de Madonna en er zijn veel mensen die de pelgrimstocht naar l'Hermitage maken. De levende rots is nog steeds zichtbaar in het priesterkoor en de sacristie, terwijl het primitieve kerkje verschillende fasen van uitbreiding en verrijking van structuren en gewaden onderging naarmate de roem en verering van de Maagd van de Grot vanaf de 14e eeuw toenam. In het begin van de 18e eeuw werd de dubbele zuilengalerij van de voorgevel gebouwd en werd de grot vergroot om plaats te bieden aan de sacristie. De kluizenaars van Calomini zorgden er vijf eeuwen lang voor, tot 1868, en nu is het beheer toevertrouwd aan de paters kapucijnen van Lucca.
