Pierādījumi liecina, ka Famenas templis tika uzcelts valdīšanas laikā Hana imperators Lings (156-189 AD) un tika paplašināts vai pārveidots Ziemeļu laikā Džou dinastija (557 līdz 581 AD). Tā tika uzcelta, lai izmitinātu agrīnos Budistus, kuri ceļoja no Rietumiem, un kalpotu kā Tulkošanas un mācību centrs. Ziemeļu Džou dinastijas vēlākajā daļā budisms tika apspiests un budisti vajāti. Templis tika iznīcināts un nokrita. Saskaņā ar Sui un pēc tam Tangas dinastijām Budisms tiesā atkal bija par labu. Pat periodos, kad Daoisms saņēma galvenokārt tiesas patronāžu, Ziemeļu Zhou masveida apspiešana netika atkārtota. Tas tika pārdēvēts par Famenas templi mūsu ēras 618. gadā, un teritoriju ar galvenajām tempļa ēkām pārbūvēja Tangas imperators Vudi. Tas tika pārdēvēts un pārdēvēts vairākas reizes, bet beidzot atgriezās pie Famen nosaukuma, kas tika dots Tangas dinastijas sākumā. Famens bija Budas relikviju avots daudziem Tangas imperatoriem. Katru reizi, kad imperators vēlējās meklēt labvēlību ar debesīm, viņi meklēja atbalstu no relikvijām un dāsni ziedoja templim. Vēstures dēļ mūki uzcēla pazemes pili, lai izmitinātu savus dārgumus un pasargātu viņus no ziņkārīgo acīm un rokām. Gadsimtu gaitā ideja par šādu pili, kas pastāvēja tempļa teritorijā, pārvērtās par mītu. Tika teikts, ka viņi tur ir paslēpuši klostera dārgumus, lai pasargātu viņus no kara, iebrukuma un nomācošu politisko kustību kaprīzēm, taču, tā kā neviens to nevarēja atrast, stāsts tika noraidīts. Pagoda tika uzcelta un sadedzināta vairākas reizes. Tang pagoda tika uzcelta no koka. Minga dinastijas laikā zemestrīce iznīcināja lielu daļu tempļa un pagodas. Ming imperatora Wanli valdīšanas laikā 1579. gadā tika uzcelta ķieģeļu pagoda, lai atdarinātu oriģinālās koka konstrukcijas dizainu. Qing dinastijas laikā templis un pagoda tika atjaunoti vairākas reizes. Agrīnā republikāņu armija izmantoja templi kā nometnes vietu, bet 1940.gadā finansēja atjaunošanas projektu, lai atjaunotu templi un panāktu nodarbinātību šajā apgabalā. Budistu mūki atgriezās templī.