Сведчанні сведчаць аб тым, што храм Фамен быў пабудаваны ў часы праўлення ханьского імператара ліна (156-189 гг.н. э.) і быў пашыраны або рэканструяваны ў часы дынастыі Паўночная Чжоу (557-581 гг. н. э.). Ён быў пабудаваны для размяшчэння першых будыстаў, якія прыбылі з Захаду, і служыў цэнтрам перакладу і навучання. У больш позні перыяд праўлення дынастыі Паўночная Чжоу будызм быў падаўлены, а будысты падвяргаліся пераследам. Храм быў разбураны і прыйшоў у заняпад. Пры дынастыі Суй, а затым Тан будызм зноў быў у фаворы пры двары. Нават у тыя перыяды, калі даасізм карыстаўся галоўным заступніцтвам двара, масавае падаўленне Паўночнай Чжоу не паўтаралася. Ён быў перайменаваны ў храм Фамен ў 618 годзе нашай эры, а тэрыторыя была перабудавана разам з асноўнымі храмавымі будынкамі танскім імператарам Удзі. Ён быў перайменаваны і перайменаваны некалькі разоў, але ў рэшце рэшт вярнуўся да назвы Famen, дадзеным ў пачатку праўлення дынастыі Тан. Фамен быў крыніцай рэліквій Буды для многіх імператараў дынастыі Тан. Кожны раз, калі імператар хацеў дамагчыся добразычлівасці нябёсаў, яны шукалі падтрымкі ў рэліквій і шчодра ахвяравалі храму. З-за яго гісторыі манахі пабудавалі падземны палац, каб захоўваць свае скарбы і хаваць іх ад старонніх вачэй і рук. На працягу стагоддзяў ідэя пра існаванне такога палаца на тэрыторыі храма ператварылася ў міф. Казалі, што яны схавалі там скарбы манастыра, каб абараніць іх ад вайны, уварвання і капрызаў рэпрэсіўных палітычных рухаў, але паколькі ніхто не мог іх знайсці, гэтая гісторыя была абвергнутая. Пагада была пабудавана і спалена некалькі разоў. Пагада Тан была пабудавана з дрэва. У часы дынастыі Мін землятрус разбурыла вялікую частку храма і пагады. Падчас кіравання імператара дынастыі Мін Ванли ў 1579 годзе была пабудавана цагляная пагада, якая імітуе дызайн першапачатковага драўлянага збудаванні. Храм і пагада некалькі разоў перабудоўваліся ў часы дынастыі Цын. Ранняя Рэспубліканская армія выкарыстала храм у якасці лагера, але ў 1940 годзе прафінансавала праект рэстаўрацыі, каб адрамантаваць храм і забяспечыць занятасць у гэтым раёне. Будыйскія манахі вярнуліся ў храм.