Доказателствата сочат, че храмът е построен по време на управлението на император Хан Линг (156 - 189 г.) и е разширен или преустроен по време на северната династия Джоу (557-581 г.). Тя е построена, за да приюти ранните будисти, които са пътували от запад и да служи като център за преводи и обучение. По време на по-късната част на северната династия Джоу Будизмът е потиснат и будистите са преследвани. Храмът е разрушен и занемарен. По време на династиите Суи, а след това и Тан, будизмът отново е в полза на двора. Дори по време на периодите, когато даоизмът получава главно патронажа на двора, масовото потискане на северната част на Джоу не се повтаря. Преименуван е на Фамен през 618 г.сл. Хр., а основите са възстановени с основните храмови сгради от император Тан Уди. Тя е преименувана и преименувана няколко пъти, но накрая се връща към фамилното име, дадено в началото на династията Тан. Фамен е бил източник на мощите на Буда за много императори на Тан. Всеки път, когато императорът искал да потърси благоволение от небесата, те търсели подкрепа от мощите и дарявали щедро на храма. Поради своята история монасите построили подземен дворец, за да приютят съкровищата си и да ги предпазят от любопитни очи и ръце. През вековете идеята за такъв дворец, съществуващ в рамките на храма, се превръща в мит. Говори се, че те са скрили съкровищата на манастира там, за да ги предпазят от война, Нашествие и капризите на потискащи политически движения, но тъй като никой не можеше да го намери, историята беше отхвърлена. Пагодата е строена и опожарявана няколко пъти. Пагодата Тан е построена от дърво. По време на династията Мин земетресение разрушава голяма част от храма и пагодата. По време на управлението на император Мин Уанлъ през 1579 г.е построена тухлена пагода, за да имитира дизайна на оригиналната дървена конструкция. Храмът и пагодата са ремонтирани няколко пъти по време на династията Цин. Ранната републиканска армия използва храма като място за лагер, но през 1940 г.финансира проект за възстановяване на храма и за осигуряване на заетост в района. Будистките монаси се върнали в храма.