A bizonyítékok arra utalnak, hogy a Famen templomot Ling han császár uralkodása alatt építették (156-189), és az Északi Zhou - dinasztia idején (557-581) bővítették vagy átalakították. Azért építették, hogy otthont adjon a korai buddhistáknak, akik nyugatról utaztak, és fordítási és tanulmányi központként szolgáljon. Az Északi Zhou-dinasztia későbbi részében a buddhizmust elnyomták, a buddhistákat pedig üldözték. A templomot lerombolták és romba dőlt. A Sui, majd a Tang dinasztiák alatt a buddhizmus ismét támogatta az udvarban. Még azokban az időszakokban is, amikor a Daoizmus elsősorban a bíróság védnökségét kapta, az Északi Zhou tömeges elnyomása nem ismétlődött meg. 618-ban átnevezték Famen templomnak, a területet pedig a fő templomépületekkel újjáépítették Tang császár Wudi. Többször átnevezték, de végül visszatért a Tang-dinasztia kezdetén adott Famen névhez. Famen Buddha emlékeinek forrása volt sok Tang császár számára. Minden alkalommal, amikor a császár a mennyek kegyét akarta keresni, támogatást kértek az ereklyéktől, és nagylelkűen adományoztak a templomnak. Történelmének köszönhetően a szerzetesek földalatti palotát építettek, hogy kincseiket elrejtsék, és megóvják őket a kíváncsiskodó szemektől és kezektől. Az évszázadok során a templom területén létező ilyen palota gondolata mítoszgá vált. Azt mondták, hogy elrejtették a kolostor kincseit, hogy megvédjék őket a háborútól, az inváziótól és az elnyomó politikai mozgalmak szeszélyeitől, de mivel senki sem találta meg, a történetet elvetették. A pagoda többször épült és égett. A Tang pagoda fából épült. A Ming-dinasztia idején földrengés pusztította el a templom és a pagoda nagy részét. Wanli Ming császár uralkodása alatt 1579-ben tégla pagoda épült, hogy utánozza az eredeti faszerkezet kialakítását. A templomot és a pagodát többször felújították a Csing-dinasztia idején. A korai republikánus hadsereg táborhelyként használta a templomot, de 1940-ben finanszírozott egy helyreállítási projektet, hogy felújítsák a templomot és munkát hozzanak a területre. A buddhista szerzetesek visszatértek a templomba.