Wenn man von der kleinen Straße kommt, die von der Porta Romana hinunterführt und die Stadt umrundet, findet man die kleine Kirche kurz vor dem Unterportikus Bisleti. In der Antike befand sich hier die Porta Piccola, die bis zum Erdbeben von 1350 über einen steilen Abhang zur Basilika Santa Salome führte.
Entlang dieses Weges ließen die Gläubigen im 13. Jahrhundert das Bild der Madonna auf einen Felsen malen, der dann viele Jahrhunderte lang unter den Trümmern des Erdbebens verborgen blieb. Im Jahr 1722 kam das antike Bildnis wieder zum Vorschein und die Einwohner von Verola nannten es "Madonna dell'Olivello", nach dem Olivenbaum, der neben dem Felsen gewachsen war. Damals wurde an dieser Stelle ein kleiner achteckiger Tempel errichtet und Stützmauern um das steile, von Felsen durchsetzte Gelände gezogen. Später wurde das Gebäude dank der Großzügigkeit von Kardinal Bisleti (der hier begraben ist) vergrößert und wurde zur heutigen Kirche von Olivella.
