Dokazi upućuju na to da je hram Famen sagrađen za vrijeme vladavine Han Cara Linga (156-189 AD), a proširen je ili rekonstruiran za vrijeme dinastije Sjeverni Zhou (557-581 ad). Izgrađena je za smještaj prvih budista koji su stigli sa Zapada i služila je kao centar za prevođenje i učenje. Tijekom kasnijeg razdoblja dinastije Sjeverni Zhou, budizam je bio potisnut, a Budisti su bili progonjeni. Hram je uništen i propao. Pod dinastijama sui, a zatim Tang, budizam je opet bio naklonjen dvoru. Čak i u razdobljima kada je taoizam uživao glavno pokroviteljstvo suda, masovno suzbijanje Sjevernog Zhoua nije se ponovilo. Preimenovan je u hram Famen 618.godine, a područje je obnovio zajedno s glavnim hramskim zgradama Tang car Udi. Preimenovan je i preimenovan nekoliko puta, ali na kraju se vratio imenu Insun, datom na početku vladavine dinastije Tang. Famen je bio izvor Budinih relikvija za mnoge careve iz dinastije Tang. Svaki put kad je car želio pridobiti nebesku naklonost, tražili su podršku od relikvija i velikodušno davali hram. Zbog njegove povijesti, redovnici su izgradili podzemnu palaču kako bi pohranili svoje blago i sakrili ih od znatiželjnih očiju i ruku. Tijekom stoljeća ideja o postojanju takve palače na teritoriju hrama pretvorila se u mit. Govorilo se da su tamo sakrili blago samostana kako bi ih zaštitili od rata, invazije i hirova represivnih političkih pokreta, ali budući da ih nitko nije mogao pronaći, priča je opovrgnuta. Pagoda je izgrađena i spaljena nekoliko puta. Pagoda Tang izgrađena je od drveta. Tijekom dinastije Ming potres je uništio veći dio hrama i pagode. Za vrijeme vladavine cara Minga Vanlija 1579.godine izgrađena je pagoda od opeke koja je oponašala dizajn izvorne drvene konstrukcije. Hram i Pagoda obnavljani su nekoliko puta tijekom dinastije Ching. Rana republikanska vojska koristila je hram kao logor, ali je 1940.financirala projekt obnove kako bi obnovila hram i osigurala zaposlenje na tom području. Budistički redovnici vratili su se u hram.