Įrodymai rodo, kad Fameno šventykla buvo pastatyta valdant Han imperatorius Lingas (156-189 m. po Kr.) ir buvo išplėstas arba pertvarkytas Šiaurės Džou dinastija (557-581 m.po Kr.). Jis buvo pastatytas apgyvendinti ankstyvuosius budistus, kurie keliavo iš vakarų, ir tarnauti kaip vertimo ir studijų centras. Vėlesnėje Šiaurės Džou dinastijos dalyje budizmas buvo slopinamas ir budistai persekiojami. Šventykla buvo sunaikinta ir sunyko. Pagal Sui ir tada Tango dinastijas Budizmas vėl buvo palankus teisme. Net tais laikotarpiais, kai Daoizmas pirmiausia gavo teismo globą, masinis Šiaurės Džou slopinimas nebuvo kartojamas. 618 m. po Kristaus ji buvo pervadinta į Fameno šventyklą, o teritoriją kartu su pagrindiniais šventyklos pastatais atstatė Tango imperatorius Vudis. Jis kelis kartus buvo pervadintas ir pervadintas, tačiau galiausiai grįžo prie Fameno vardo, suteikto Tango dinastijos pradžioje. Famenas buvo daugelio Tango imperatorių Budos relikvijų šaltinis. Kiekvieną kartą, kai imperatorius norėjo ieškoti palankumo dangui, jie ieškojo relikvijų palaikymo ir dosniai aukojo šventyklai. Dėl savo istorijos vienuoliai pastatė požeminius rūmus, kad galėtų laikyti savo lobius ir apsaugoti juos nuo smalsių akių ir rankų. Per šimtmečius tokių rūmų, esančių šventyklos teritorijoje, idėja virto Mitu. Buvo sakoma, kad jie paslėpė ten esančio vienuolyno lobius, kad apsaugotų juos nuo karo, invazijos ir slopinančių politinių judėjimų užgaidų, tačiau kadangi niekas negalėjo jo rasti, istorija buvo atmesta. Pagoda buvo pastatyta ir sudeginta kelis kartus. Tango pagoda buvo pastatyta iš medžio. Mingų dinastijos metu žemės drebėjimas sunaikino didžiąją šventyklos ir pagodos dalį. Valdant Mingui imperatorius Vanlis 1579 m. buvo pastatyta mūrinė pagoda, imituojanti originalios medinės konstrukcijos dizainą. Šventykla ir pagoda buvo kelis kartus atnaujinti Čingų dinastija. Ankstyvoji respublikonų armija šventyklą naudojo kaip stovyklavietę, tačiau 1940 m.finansavo restauravimo projektą, skirtą šventyklos atnaujinimui ir užimtumui šioje srityje. Budistų vienuoliai grįžo į šventyklą.