Helgedomen ligger nära en klippa och är nästan helt och hållet huggen i berget och byggdes där historien går om att Madonnan uppenbarade sig för en flicka från Campolemisi runt år 1000. Den heliga avbildningen, som är skisserad i en staty av pileträ, som fortfarande finns kvar och är ett föremål för hängivenhet, vördas under namnet Madonna della Penna. Maj månad är traditionellt tillägnad madonnan och många människor vallfärdar då upp till Hermitage. Den levande stenen är fortfarande synlig i prästgården och sakristian, medan den primitiva lilla kyrkan genomgick olika faser av utvidgning och berikning av strukturer och skrud i takt med att berömmelsen och vördnaden för Jungfrun i grottan växte från och med 1300-talet. I början av 1700-talet byggdes fasadens dubbla kolonnad och grottan utvidgades för att rymma sakristian. Eremiterna i Calomini tog hand om grottan i fem århundraden, fram till 1868, och nu är det kapucinerfäderna i Lucca som har hand om den.
