Bevis tyder på att Famen - templet byggdes under han-kejsaren Lings regeringstid (156-189 e.kr.) och utvidgades eller ombyggdes under Norra Zhou-dynastin (557 till 581 e. Kr.). Det byggdes för att hysa tidiga buddhister som reste från väst och att fungera som ett översättnings-och studiecenter. Under den senare delen av norra Zhou-dynastin undertrycktes buddhismen och buddhisterna förföljdes. Templet förstördes och föll i förfall. Under Sui och sedan Tangdynastierna var buddhismen återigen för domstolen. Även under de perioder där daoismen fick domstolens främsta beskydd upprepades inte massundertrycket av norra Zhou.
Det döptes om till Famen-templet 618 e.kr. och grunderna byggdes om med de stora tempelbyggnaderna av Tang kejsare Wudi. Det döptes om och döptes om flera gånger, men återvände slutligen till Famen-namnet som gavs i början av Tang-dynastin. Famen var källan till Buddhas reliker för många Tang-kejsare. Varje gång kejsaren ville söka favör med himlen sökte de stöd från relikerna och donerade generöst till templet.
På grund av sin historia byggde munkarna ett underjordiskt palats för att hysa sina skatter och hålla dem från nyfikna ögon och händer. Under århundradena förvandlades tanken på ett sådant palats som fanns inom templets grunder till myt. De sägs ha gömt klostrets skatter där för att skydda dem mot krig, invasion och vagaries av undertryckande politiska rörelser, men eftersom ingen kunde hitta det diskonterades historien. Pagoden byggdes och brändes flera gånger. Tangpagoden byggdes av trä. Under Ming-Dynastin förstörde en jordbävning mycket av templet och pagoden. Under Ming-kejsaren Wanlis regeringstid 1579 byggdes en tegelpagoda för att efterlikna utformningen av den ursprungliga trästrukturen. Templet och pagoden renoverades flera gånger under Qing-dynastin. Den tidiga republikanska armen använde templet som en campingplats, men 1940 finansierade ett restaureringsprojekt för att renovera templet och få anställning till området. De buddhistiska munkarna återvände till templet.
Top of the World