Βρίσκεται κοντά σε έναν βραχώδη βράχο και είναι σχεδόν εξ ολοκλήρου λαξευμένο στον βράχο, το ιερό χτίστηκε εκεί όπου, σύμφωνα με την ιστορία, εμφανίστηκε η Παναγία σε ένα κορίτσι από το Καμπολεμίσι γύρω στο έτος 1000. Η ιερή εικόνα, που περιγράφεται σε ένα άγαλμα από ξύλο ιτιάς, το οποίο εξακολουθεί να υπάρχει και να αποτελεί αντικείμενο λατρείας, τιμάται με το όνομα Madonna della Penna. Ο μήνας Μάιος είναι παραδοσιακά αφιερωμένος στην Παναγία και παρατηρείται η παρουσία πολλών ανθρώπων που κάνουν το προσκύνημα μέχρι το Ερημητήριο. Ο ζωντανός βράχος είναι ακόμη ορατός στο πρεσβυτέριο και το σκευοφυλάκιο, ενώ η πρωτόγονη μικρή εκκλησία υπέστη διάφορες φάσεις διεύρυνσης και εμπλουτισμού των δομών και των άμφια, καθώς η φήμη και η λατρεία της Παναγίας του Σπηλαίου αυξανόταν από τον 14ο αιώνα και μετά. Στις αρχές του 18ου αιώνα χτίστηκε η διπλή κιονοστοιχία της πρόσοψης και διευρύνθηκε η σπηλιά για να φιλοξενήσει το σκευοφυλάκιο. Οι ερημίτες του Calomini το φρόντιζαν για πέντε αιώνες, μέχρι το 1868, και τώρα η φύλαξή του έχει ανατεθεί στους Καπουτσίνους Πατέρες της Λούκα.
