Sanktuariet, der ligger tæt på en klippeklippe og er hugget næsten helt ind i klippen, blev bygget på det sted, hvor historien fortæller, at Madonnaen viste sig for en pige fra Campolemisi omkring år 1000. Det hellige billede, der er skitseret i en statue af piletræ, som stadig eksisterer og er genstand for hengivenhed, bliver æret under navnet Madonna della Penna. Maj måned er traditionelt dedikeret til Madonnaen, og mange mennesker valfarter op til Eremitagen i denne måned. Den levende sten er stadig synlig i præsteværelset og sakristiet, mens den primitive lille kirke gennemgik forskellige faser med udvidelse og berigelse af strukturer og gevandter i takt med, at berømmelsen og æren for Jomfruen fra Grotten voksede fra det 14. århundrede og fremefter. I begyndelsen af det 18. århundrede blev facadens dobbelte kolonnade bygget, og grotten blev udvidet for at give plads til sakristiet. Eremitterne fra Calomini tog sig af den i fem århundreder indtil 1868, og nu er det kapucinerfædrene fra Lucca, der har fået overdraget forvaringen af den.
