Las pruebas sugieren que el templo de Famen se construyó durante el reinado del emperador Han Ling (156 - 189 d.C.) y se amplió o remodeló durante la dinastía Zhou del Norte (557 - 581 d.C.). Se construyó para albergar a los primeros budistas que viajaban desde Occidente y para que sirviera de centro de traducción y estudio. Durante la última parte de la dinastía Zhou del Norte se suprimió el budismo y se persiguió a los budistas. El templo fue destruido y cayó en el abandono. Bajo la dinastía Sui y luego la Tang, el budismo volvió a tener el favor de la corte. Incluso durante los periodos en los que el taoísmo recibió el patrocinio principal de la corte, no se repitió la supresión masiva de la Zhou del Norte. Fue rebautizado como Templo Famen en el año 618 d.C. y los terrenos fueron reconstruidos con los principales edificios del templo por el emperador Tang Wudi. Fue rebautizado y rebautizado varias veces, pero finalmente volvió al nombre de Famen que se le dio al comienzo de la dinastía Tang. Famen fue la fuente de reliquias de Buda para muchos emperadores Tang. Cada vez que el emperador quería buscar el favor de los cielos, buscaba el apoyo de las reliquias y donaba generosamente al templo. Debido a su historia, los monjes construyeron un palacio subterráneo para albergar sus tesoros y mantenerlos alejados de miradas y manos indiscretas. Con el paso de los siglos, la idea de que ese palacio existiera dentro del recinto del templo se convirtió en un mito. Se decía que habían escondido allí los tesoros del monasterio para protegerlos de las guerras, las invasiones y los caprichos de los movimientos políticos represivos, pero como nadie pudo encontrarlo, la historia se descartó. La pagoda fue construida y quemada varias veces. La pagoda Tang se construyó en madera. Durante la dinastía Ming, un terremoto destruyó gran parte del templo y la pagoda. Durante el reinado del emperador Ming Wanli, en 1579, se construyó una pagoda de ladrillo que imitaba el diseño de la estructura original de madera. El templo y la pagoda fueron reformados varias veces durante la dinastía Qing. El primer ejército republicano utilizó el templo como campamento, pero en 1940 financió un proyecto de restauración para acondicionar el templo y dar empleo a la zona. Los monjes budistas volvieron al templo.