Svetišče, ki stoji blizu skalne pečine in je skoraj v celoti vklesano v skalo, je bilo zgrajeno na mestu, kjer se je okoli leta 1000 deklici iz Campolemisija po pripovedovanju prikazala Madona. Sveto podobo, ki jo je obrisal kip iz vrbovega lesa, ki še vedno obstaja in je predmet pobožnosti, častijo pod imenom Madonna della Penna. Mesec maj je tradicionalno posvečen Madoni in se ga udeležuje veliko ljudi, ki romajo v ermitažo. Živa skala je še vedno vidna v prezbiteriju in zakristiji, primitivna cerkvica pa je od 14. stoletja dalje doživljala različne faze širjenja in bogatenja struktur in zakramentov, saj sta sloves in čaščenje Device iz Grotte rasla. V začetku 18. stoletja so zgradili dvojno kolonado na pročelju in povečali groto, da bi vanjo umestili zakristijo. Pet stoletij, do leta 1868, so zanjo skrbeli puščavniki iz Calominija, zdaj pa je skrb zanjo zaupana očetom kapucinom iz Lucce.
