પુરાવા સૂચવે છે કે ફેમેન મંદિર હાન સમ્રાટ લિંગ (156 - 189 એડી) ના શાસનકાળ દરમિયાન બાંધવામાં આવ્યું હતું અને ઉત્તરીય ઝોઉ રાજવંશ (557 થી 581 એડી) દરમિયાન વિસ્તૃત અથવા ફરીથી બનાવવામાં આવ્યું હતું. તે પ્રારંભિક બૌદ્ધ જે પશ્ચિમ પ્રવાસ ઘર અને અનુવાદ અને અભ્યાસ કેન્દ્ર તરીકે સેવા આપવા માટે બાંધવામાં આવી હતી. ઉત્તર ઝોઉ રાજવંશ બોદ્ધ ધર્મ પછીના ભાગમાં દરમિયાન દબાવી દેવામાં આવ્યું હતું અને બૌદ્ધ અત્યાચાર ગુજારવામાં. મંદિરનો નાશ થયો અને બિસમાર હાલત થઈ ગઈ. સુઇ હેઠળ અને પછી તાંગ રાજવંશો, બોદ્ધ ધર્મ કોર્ટમાં તરફેણમાં ફરી હતી. તે સમયગાળા દરમિયાન પણ જ્યાં ડાઓઇઝમને અદાલતનો મુખ્યત્વે આશ્રય મળ્યો હતો, ઉત્તરીય ઝોઉના સામૂહિક દમનને પુનરાવર્તન કરવામાં આવ્યું ન હતું. તે 618 એડી ફેમન મંદિર નામ આપવામાં આવ્યું હતું અને આધારો તાંગ સમ્રાટ વુડી દ્વારા મુખ્ય મંદિર ઇમારતો સાથે પુનઃબીલ્ડ કરવામાં આવી હતી. તે નામ આપવામાં આવ્યું અને ઘણી વખત નામ આપવામાં આવ્યું હતું, પરંતુ અંતે તાંગ રાજવંશ શરૂઆતમાં આપવામાં ફેમેન નામ પરત ફર્યા. ફેમેન ઘણા તાંગ સમ્રાટો માટે બુદ્ધ અવશેષો સ્ત્રોત હતો. દરેક વખતે સમ્રાટ સ્વર્ગમાં તેઓ અવશેષો ટેકો માંગી અને મંદિર ઉદારતાપૂર્વક દાન સાથે તરફેણમાં લેવી ઇચ્છતા. તેના ઇતિહાસને લીધે, સાધુઓએ તેમના ખજાનાને રાખવા અને તેમને આંખો અને હાથથી રાખવા માટે એક ભૂગર્ભ મહેલ બનાવ્યો. સદીઓથી મંદિરના મેદાનની અંદર રહેલા આવા મહેલનો વિચાર પૌરાણિક કથામાં ફેરવાઈ ગયો. તેઓ ત્યાં આશ્રમ ખજાના છુપાયેલા છે તેમને યુદ્ધ સામે રક્ષણ કરવા માટે હતું, આક્રમણ, અને દમનકારી રાજકીય હિલચાલ અનિયમિતતા, પરંતુ કોઈ એક તે શોધી શક્યા નથી, કારણ કે, વાર્તા ડિસ્કાઉન્ટેડ આવી હતી. પેગોડા ઘણી વખત બાંધવામાં આવ્યું હતું અને બળી ગયું હતું. તાંગ પેગોડા લાકડાનો બાંધવામાં આવ્યું હતું. મિંગ રાજવંશ દરમિયાન ધરતીકંપ મંદિર અને પેગોડા ખૂબ નાશ. 1579 માં મિંગ સમ્રાટ વાનલીના શાસન દરમિયાન એક ઇંટ પેગોડા મૂળ લાકડાના માળખાના ડિઝાઇનની નકલ કરવા માટે બનાવવામાં આવ્યું હતું. ક્વિંગ રાજવંશ દરમિયાન મંદિર અને પેગોડાને ઘણી વખત નવીનીકરણ કરવામાં આવ્યું હતું. પ્રારંભિક રિપબ્લિકન આર્મીએ મંદિરને કેમ્પ સાઇટ તરીકે ઉપયોગ કર્યો હતો, પરંતુ 1940 માં મંદિરનું નવીનીકરણ કરવા અને આ વિસ્તારમાં રોજગાર લાવવા માટે પુનઃસંગ્રહ પ્રોજેક્ટને ભંડોળ પૂરું પાડ્યું હતું. બૌદ્ધ સાધુઓ મંદિરમાં પાછા ફર્યા.