Les preuves suggèrent que le temple Famen a été construit sous le règne de l'empereur Han Ling (156 - 189 ap. J.-C.) et a été agrandi ou remodelé sous la dynastie des Zhou du Nord (557 à 581 ap. J.-C.). Il a été construit pour accueillir les premiers bouddhistes venus de l'Ouest et pour servir de centre de traduction et d'étude. Pendant la dernière partie de la dynastie des Zhou du Nord, le bouddhisme a été supprimé et les bouddhistes persécutés. Le temple a été détruit et est tombé en ruine. Sous la dynastie des Sui, puis des Tang, le bouddhisme était de nouveau en faveur à la cour. Même pendant les périodes où le taoïsme bénéficiait principalement du patronage de la cour, la suppression massive des Zhou du Nord ne s'est pas répétée. Il a été rebaptisé temple Famen en 618 après J.-C. et les terrains ont été reconstruits avec les principaux bâtiments du temple par l'empereur Tang Wudi. Il a été renommé et rebaptisé plusieurs fois, mais a finalement repris le nom de Famen donné au début de la dynastie Tang. Famen était la source de reliques de Bouddha pour de nombreux empereurs Tang. Chaque fois que l'empereur voulait obtenir la faveur des cieux, il cherchait le soutien des reliques et faisait des dons généreux au temple. En raison de son histoire, les moines ont construit un palais souterrain pour abriter leurs trésors et les protéger des regards et des mains indiscrets. Au fil des siècles, l'idée de l'existence d'un tel palais dans l'enceinte du temple s'est transformée en mythe. On disait qu'ils y avaient caché les trésors du monastère pour les protéger de la guerre, des invasions et des aléas des mouvements politiques répressifs, mais comme personne n'a pu le trouver, l'histoire a été écartée. La pagode a été construite et brûlée plusieurs fois. La pagode Tang était construite en bois. Sous la dynastie Ming, un tremblement de terre a détruit une grande partie du temple et de la pagode. Sous le règne de l'empereur Ming Wanli, en 1579, une pagode en briques a été construite pour imiter le design de la structure en bois originale. Le temple et la pagode ont été rénovés à plusieurs reprises pendant la dynastie Qing. La première armée républicaine a utilisé le temple comme site de campement, mais en 1940, elle a financé un projet de restauration pour remettre le temple en état et créer des emplois dans la région. Les moines bouddhistes sont retournés dans le temple.