Smješteno u blizini stenovite provalije i gotovo u cijelosti ukopano u stijenu, svetište je sagrađeno tamo gdje se priča o ukazanju Bogorodice djevojci iz Campolemizija oko 1000. godine. Sveta slika, skicirana u kipu od vrbe, još uvijek postoji i predmet pobožnosti, časti se imenom Madonna della Penna. Mesec maj je tradicionalno posvećen Bogorodici i prisustvuje mnogim ljudima koji idu u Ermitaž na hodočašće. Živa stijena je i danas vidljiva u prezbiteriju i sakristiji, dok je primitivna crkva prolazila kroz različite faze proširenja i obogaćivanja građevina i odeždi kako je slava i štovanje Bogorodice Grotta rasla počev od četrnaestog stoljeća. Početkom osamnaestog stoljeća izgrađena je dvostruka kolonada fasade i proširena pećina za smještaj sakristije. Pustinjaci iz Kalominija brinuli su se o njemu pet vekova, do 1868. godine, a sada je starateljstvo povereno ocima kapucinima iz Luke.
