Důkazy naznačují, že chrám Famen byl postaven za vlády císaře Han Ling (156-189 NL) a byl rozšířen nebo přestavěn během severní dynastie Zhou (557 až 581 NL). Byl postaven k domu raných buddhistů, kteří cestovali ze Západu a sloužili jako překladatelské a studijní centrum. Během pozdější části dynastie Severní Zhou byl buddhismus potlačen a buddhisté pronásledováni. Chrám byl zničen a chátral. Za dynastie Sui a poté za dynastie Tang byl buddhismus u soudu opět ve prospěch. Ani v obdobích, kdy Daoismus získal především záštitu dvora, se masové potlačení Severního čou neopakovalo. V roce 618 byl přejmenován na chrám Famen a areál byl přestavěn s hlavními chrámovými budovami císařem Tang Wudim. To bylo přejmenováno a přejmenováno několikrát, ale nakonec se vrátil k Famen jméno dané na začátku dynastie Tang. Famen byl zdrojem relikvií Buddhy pro mnoho císařů Tang. Pokaždé, když císař chtěl hledat přízeň s nebesy, hledali podporu od relikvií a velkoryse darovali chrámu. Díky své historii mniši postavili podzemní palác, aby ubytovali své poklady a chránili je před zvědavýma očima a rukama. V průběhu staletí se myšlenka takového paláce existujícího v chrámovém areálu změnila v mýtus. Říkalo se, že tam ukryli poklady kláštera, aby je chránili před válkou, invazí a rozmary potlačujících politických hnutí, ale protože to nikdo nemohl najít, příběh byl zlevněn. Pagoda byla několikrát postavena a spálena. Pagoda Tang byla postavena ze dřeva. Během dynastie Ming zemětřesení zničilo velkou část chrámu a pagody. Za vlády mingského císaře Wanliho v roce 1579 byla postavena cihlová pagoda napodobující návrh původní dřevěné konstrukce. Chrám a pagoda byly během dynastie Čching několikrát renovovány. Raná republikánská armáda používala chrám jako tábor, ale v roce 1940 financovala projekt obnovy, který měl chrám zrekonstruovat a přinést do oblasti zaměstnání. Buddhističtí mniši se vrátili do chrámu.