Dokazi sugeriraju da je Hram Famen sagrađen za vrijeme vladavine cara Han Linga (156. - 189. godine nove ere) i proširen je ili preuređen za vrijeme Sjeverne dinastije Zhou (557. do 581. godine nove ere). Izgrađena je za smještaj ranih budista koji su putovali sa Zapada i da služe kao prevodilački i studijski centar. Tokom kasnije dio sjevernog Zhou dinastije budizam je potisnut i budisti progonjeni. Hram je uništen i propao. Pod dinastijama sui, a zatim i Tang, budizam je ponovo bio za dvor. Čak i tokom perioda u kojima je Daoizam primao prvenstveno pokroviteljstvo suda, masovno suzbijanje Sjevernog Zhou-a nije ponovljeno. Preimenovan je u hram Famen 618. godine nove ere, a tereni su obnovljeni glavnim hramskim zgradama Tang Cara Wudija. Preimenovan je i preimenovan nekoliko puta, ali se konačno vratio u Famensko ime dato na početku dinastije Tang. Famen je bio izvor moštiju bude za mnoge Tang careve. Svaki put kada je car želio tražiti naklonost nebesima, tražili su podršku od relikvija i velikodušno donirali hramu. Zbog svoje istorije, monasi su izgradili podzemnu Palatu kako bi smjestili svoje blago i držali ih od znatiželjnih očiju i ruku. Tokom vekova ideja o takvoj palati koja postoji unutar hramskih terena pretvorila se u mit. Rečeno je da su tamo sakrili blago manastira kako bi ih zaštitili od rata, invazije i hirova supresivnih političkih pokreta, ali budući da ga niko nije mogao pronaći, priča je diskontirana. Pagodu su gradili i spaljivali nekoliko puta. Tang pagoda je građena od drveta. Tokom dinastije Ming zemljotres je uništio veći dio hrama i pagode. Za vrijeme vladavine cara Minga Wanlija 1579. godine izgrađena je ciglena pagoda koja je imitirala dizajn originalne drvene konstrukcije. Hram i pagoda su obnovljeni nekoliko puta za vrijeme dinastije Qing. Rana Republikanska vojska koristila je Hram kao kamp, ali je 1940. godine finansirala projekat obnove za obnovu hrama i zapošljavanje u to područje. Budistički monasi su se vratili u hram.