Bevis tyder på, at Famen - templet blev bygget under regeringstid af han kejser Ling (156-189 e.kr.) og blev udvidet eller ombygget under det nordlige Hou-dynasti (557 til 581 e. kr.). Det blev bygget til at huse tidlige buddhister, der rejste fra vest og tjene som et oversættelses-og studiecenter. Under den senere del af det nordlige dynasti blev buddhismen undertrykt og buddhister forfulgt. Templet blev ødelagt og forfaldt. Under Sui og derefter Tang-dynastierne var buddhismen igen for retten. Selv i de perioder, hvor daoismen modtog Domstolens primære protektion, blev masseundertrykkelsen af den nordlige jou ikke gentaget. Det blev omdøbt til Famen-templet i 618 e.kr., og grunden blev genopbygget med de største tempelbygninger af Tang kejser Vudi. Det blev omdøbt og omdøbt flere gange, men vendte endelig tilbage til Fammen-navnet, der blev givet i starten af Tang-dynastiet. Fammen var kilden til relikvier af Buddha for mange Tang kejsere. Hver gang kejseren ønskede at søge gunst med himlen, søgte de støtte fra relikvierne og donerede generøst til templet. På grund af sin historie byggede munkene et underjordisk palads for at huse deres Skatte og forhindre dem i nysgerrige øjne og hænder. Gennem århundrederne blev ideen om et sådant palads, der eksisterede inden for templets grunde, til myte. De siges at have skjult klostrets skatte der for at beskytte dem mod krig, invasion og vagaries af undertrykkende politiske bevægelser, men da ingen kunne finde det, blev historien diskonteret. Pagoden blev bygget og brændt flere gange. Tang pagoden blev bygget af træ. Under Ming-dynastiet ødelagde et jordskælv meget af templet og pagoden. I 1579 blev der bygget en murstenspagode for at efterligne designet af den oprindelige træstruktur. Templet og pagoden blev renoveret flere gange i løbet af det kinesiske dynasti. Den tidlige Republikanske Hær brugte templet som en campingplads, men i 1940 finansierede et restaureringsprojekt for at renovere templet og bringe beskæftigelse til området. De buddhistiske munke vendte tilbage til templet.