Svētnīca, kas atrodas netālu no klinšainas klints un ir gandrīz pilnībā iegravēta klintī, tika uzcelta vietā, kur ap 1000. gadu tika stāstīts par Madonnas parādīšanos kādai meitenei no Kampolemisi. Svēto tēlu, kas iezīmēts vītolu koka statuā, kura joprojām pastāv un ir pielūgsmes objekts, godina ar nosaukumu Madonna della Penna. Maija mēnesis tradicionāli tiek veltīts Madonnai, un tajā daudzi cilvēki dodas svētceļojumā uz Ermitāžu. Dzīvā klints joprojām ir redzama presbiterijā un sakristijā, savukārt primitīvā mazā baznīciņa piedzīvoja dažādus paplašināšanās un konstrukciju un tērpu bagātināšanas posmus, jo no 14. gadsimta greznās Dievmātes slava un godbijība pieauga. 18. gadsimta sākumā uzcēla fasādes dubulto kolonādi un paplašināja grotu, lai tajā varētu izvietot sakristeju. Piecus gadsimtus, līdz 1868. gadam, par to rūpējās Kalomīni eremīti, bet tagad glabāt grotu uzticēts Lukas tēviem kapucīniem.
