Når man kommer fra den smalle vej, der går nedad fra Porta Romana og omkranser byen, finder man den lille kirke lige før Bisleti sub-portico. I oldtiden lå her Porta Piccola, som indtil jordskælvet i 1350 førte til Santa Salome-basilikaen via en stejl skrænt.
Langs denne vej fik de troende i det 13. århundrede malet et billede af Madonnaen på en sten, som derefter forblev skjult i mange århundreder under murbrokkerne fra jordskælvet. I 1722 kom det gamle billede frem i lyset igen, og Verolas befolkning kaldte det for "Madonna dell'Olivello" efter det oliventræ, der var vokset ved siden af klippen. På det tidspunkt blev der bygget et lille ottekantet tempel på stedet, og der blev bygget støttemure omkring området, som var stejlt og fyldt med klipper. Senere blev bygningen udvidet takket være kardinal Bisletis gavmildhed (han er begravet her) og blev den nuværende Olivella-kirke.
