E vendosur afër një gremie shkëmbore dhe e gërmuar pothuajse tërësisht në shkëmb, faltorja u ndërtua ku thuhet për shfaqjen e Madonës tek një vajzë nga Campolemisi rreth vitit 1000. Imazhi i shenjtë, i skicuar në një statujë prej druri të shelgut, ende ekzistues dhe një objekt përkushtimi, nderohet me emrin e Madonna della Penna. Muaji maj tradicionalisht i kushtohet Madonës dhe sheh praninë e shumë njerëzve që shkojnë në Hermitage për pelegrinazh. Shkëmbi i gjallë është ende i dukshëm në presbiteri dhe në sakristi, ndërsa kisha primitive ka kaluar faza të ndryshme të zgjerimit dhe pasurimit të strukturave dhe veshjeve, ndërsa fama dhe nderimi i Virgjëreshës së Shpellës u rrit duke filluar nga shekulli i katërmbëdhjetë. Në fillim të shekullit të tetëmbëdhjetë u ndërtua kolonada e dyfishtë e fasadës dhe shpella u zgjerua për të akomoduar sakristinë. Eremitët e Kalominit u kujdesën për të për pesë shekuj, deri në vitin 1868, dhe tani kujdestaria i është besuar baballarëve kapuçinë të Luccas.
