Разположено в близост до скалиста местност и издълбано почти изцяло в скалата, светилището е построено на мястото, където се разказва за явяването на Мадоната на едно момиче от Камполемизи около 1000 г. Свещеният образ, очертан в статуя от върбово дърво, която все още съществува и е обект на поклонение, се почита под името Мадона делла Пена. Месец май по традиция е посветен на Мадоната и в него присъстват много хора, които извършват поклонническо пътуване до Ермитажа. Живата скала все още може да се види в презвитериума и сакристията, а примитивната малка църква преминава през различни етапи на разширяване и обогатяване на структурите и одеждите, тъй като славата и почитта към Девата от пещерата нарастват от XIV в. нататък. В началото на XVIII в. е построена двойната колонада на фасадата и е разширена гробницата, за да се помести в нея сакристията. В продължение на пет века, до 1868 г., за нея се грижат отшелниците от Каломини, а сега грижите за нея са поверени на отците капуцини от Лука.
