Ermitažą sudaro koplyčia ir du uoloje iškalti kambariai eremitams. Į jas galima patekti keturiais skirtingais laiptais, taip pat iškaltais uoloje. Į šiaurę vedantys laiptai turi 30 pakopų, o į pietus - ilgesni ir netaisyklingi. Balkono viduryje taip pat yra dveji laiptai, iš kurių vienas vadinamas Scala Santa. Palei balkoną yra baseinas lietaus vandeniui surinkti.Tikriausiai eremito kilmė yra labai sena - jis pastatytas dar prieš 1000 m. Apie 1250 m. Pietro da Morrone, būsimasis popiežius Celestinas V, jį perstatė ir dažnai juo naudojosi. Šiuo laikotarpiu datuojamos freskos virš įėjimo portalo.Bažnyčios fasade matyti freskų pėdsakai, kurie smarkiai nukentėjo nuo oro sąlygų, o užrašai braižo paviršių. Bažnyčios portalą sudaro paprasta akmeninė sąrama.Bažnyčios vidus yra stačiakampio formos, 7,70 m ilgio, mažiausio 3 m pločio ir didžiausio 4 m pločio. Apšvietimą užtikrina prancūziškas langas, o antrasis langas paverstas pusapvale niša.Altoriaus nišoje stovi medinė šventojo Baltramiejaus, vaizduojamo su peiliu, kaip jis kentėjo kankinystę nuplakimo metu, statula. Rugpjūčio 25 d. tikintieji, nuėję prie Capo la Vena upelio išsimaudyti pagal labai seną ritualą, šią statulą neša procesijoje, o paskui šventojo atvaizdą nuneša į kaimo bažnyčią, kur jis išlieka iki rugsėjo 9 d.
