Es gibt Hinweise darauf, dass der Famen-Tempel während der Herrschaft des Han-Kaisers Ling (156-189 n. Chr.) erbaut und während der Nördlichen Zhou-Dynastie (557-581 n. Chr.) erweitert oder umgestaltet wurde. Er wurde gebaut, um frühe Buddhisten zu beherbergen, die aus dem Westen anreisten, und um als Übersetzungs- und Studienzentrum zu dienen. Während des späteren Teils der Nördlichen Zhou-Dynastie wurde der Buddhismus unterdrückt und die Buddhisten wurden verfolgt. Der Tempel wurde zerstört und verfiel. Unter der Sui- und dann der Tang-Dynastie war der Buddhismus bei Hofe wieder sehr beliebt. Selbst in den Perioden, in denen der Daoismus hauptsächlich vom Hof gefördert wurde, wiederholte sich die Massenunterdrückung der Nördlichen Zhou-Dynastie nicht. Im Jahr 618 n. Chr. wurde der Tempel in Famen-Tempel umbenannt und das Gelände mit den wichtigsten Tempelgebäuden vom Tang-Kaiser Wudi wieder aufgebaut. Er wurde mehrmals umbenannt, kehrte aber schließlich zu dem zu Beginn der Tang-Dynastie vergebenen Namen Famen zurück. Famen war für viele Tang-Kaiser die Quelle für Buddha-Reliquien. Jedes Mal, wenn der Kaiser die Gunst des Himmels erlangen wollte, suchte er Unterstützung bei den Reliquien und spendete großzügig für den Tempel. Aufgrund seiner Geschichte bauten die Mönche einen unterirdischen Palast, um ihre Schätze unterzubringen und sie vor neugierigen Augen und Händen zu schützen. Im Laufe der Jahrhunderte entwickelte sich die Vorstellung, dass ein solcher Palast auf dem Tempelgelände existierte, zum Mythos. Es hieß, die Mönche hätten die Schätze des Klosters dort versteckt, um sie vor Krieg, Invasion und den Launen unterdrückerischer politischer Bewegungen zu schützen, aber da niemand den Palast finden konnte, wurde die Geschichte verworfen. Die Pagode wurde mehrmals gebaut und niedergebrannt. Die Tang-Pagode wurde aus Holz gebaut. Während der Ming-Dynastie zerstörte ein Erdbeben große Teile des Tempels und der Pagode. Während der Herrschaft des Ming-Kaisers Wanli wurde 1579 eine Pagode aus Ziegelsteinen gebaut, die das Design der ursprünglichen Holzkonstruktion nachahmte. Während der Qing-Dynastie wurden der Tempel und die Pagode mehrmals renoviert. Die frühe republikanische Armee nutzte den Tempel als Lagerplatz, finanzierte aber 1940 ein Restaurierungsprojekt, um den Tempel zu renovieren und Arbeitsplätze in der Gegend zu schaffen. Die buddhistischen Mönche kehrten in den Tempel zurück.