Dokazi kažejo, da je bil tempelj Famen zgrajen v času vladavine Han cesar Ling (156 - 189 N.št.) in je bil razširjen ali preurejen v času Severne Dinastije Zhou (557 do 581 N. št.). Zgrajena je bila za nastanitev zgodnjih budistov, ki so potovali z Zahoda, in kot prevajalsko in študijsko središče. V poznejšem delu Severne Dinastije Zhou je bil budizem zatrt in budisti preganjani. Tempelj je bil uničen in propadel. Pod dinastijami Sui in nato Tang je bil budizem na dvoru spet naklonjen. Tudi v obdobjih, ko je daoizem dobil predvsem pokroviteljstvo sodišča, se množično zatiranje Severnega Zhouja ni ponovilo.
Leta 618 se je preimenoval v tempelj Famen, ozemlje pa je z glavnimi tempeljskimi zgradbami obnovil cesar Tang Vudi. Večkrat se je preimenoval in preimenoval, vendar se je končno vrnil v ime Famen, dano na začetku dinastije Tang. Famen je bil vir relikvije Bude za mnoge cesarje Tang. Vsakič, ko je cesar želel iskati naklonjenost nebes, so iskali podporo pri relikvijah in Velikodušno darovali templju.
Zaradi svoje zgodovine so menihi zgradili podzemno palačo, v kateri so hranili svoje zaklade in jih varovali pred radovednimi očmi in rokami. Skozi stoletja se je ideja o takšni palači, ki je obstajala znotraj templja, spremenila v mit. Tam naj bi skrivali zaklade samostana, da bi jih varovali pred vojno, invazijo in nepredvidljivimi zatiralnimi političnimi gibanji, a ker je nihče ni mogel najti, je bila zgodba diskontirana. Pagoda je bila večkrat zgrajena in požgana. Pagoda Tang je bila zgrajena iz lesa. V času dinastije Ming je potres uničil večino templja in Pagode. V času vladavine cesarja Minga Vanlija leta 1579 je bila zgrajena opečna pagoda, ki posnema zasnovo prvotne lesene konstrukcije. Tempelj in pagoda sta bila v času dinastije Čing večkrat prenovljena. Zgodnja Republikanska vojska je tempelj uporabljala kot taborišče, vendar je leta 1940 financirala obnovitveni projekt za obnovo templja in zaposlitev na tem območju. Budistični menihi so se vrnili v tempelj.
Top of the World