Bukti menunjukkan bahwa kuil Famen dibangun pada masa pemerintahan Kaisar Han Ling (156-189 M) dan diperluas atau direnovasi selama Dinasti Zhou Utara (557 hingga 581 M). Itu dibangun untuk menampung umat Buddha awal yang melakukan perjalanan dari barat dan berfungsi sebagai pusat penerjemahan dan studi. Selama bagian akhir dari Dinasti Zhou Utara Buddhisme ditekan dan umat Buddha dianiaya. Kuil itu hancur dan rusak. Di bawah Sui dan kemudian Dinasti Tang, Agama Buddha kembali disukai di istana. Bahkan selama periode di mana Taoisme menerima perlindungan utama dari pengadilan, penindasan massal terhadap Zhou Utara tidak terulang. Itu berganti nama menjadi Kuil Famen pada tahun 618 M dan pekarangannya dibangun kembali dengan bangunan kuil utama oleh Kaisar Tang Wudi. Itu diganti namanya dan diganti namanya beberapa kali, tetapi akhirnya kembali ke nama Famen yang diberikan pada awal Dinasti Tang. Famen adalah sumber relik Buddha bagi banyak Kaisar Tang. Setiap kali Kaisar ingin mencari bantuan dengan surga, mereka mencari dukungan dari relik dan menyumbang dengan murah hati ke kuil. Karena sejarahnya, para biarawan membangun sebuah istana bawah tanah untuk rumah harta mereka dan menjaga mereka dari mencongkel mata dan tangan. Selama berabad-abad gagasan tentang istana yang ada di dalam halaman kuil berubah menjadi mitos. Mereka dikatakan telah menyembunyikan harta biara di sana untuk menjaga mereka dari perang, invasi, dan keanehan gerakan politik yang menekan, tetapi karena tidak ada yang bisa menemukannya, cerita itu diabaikan. Pagoda itu dibangun dan dibakar beberapa kali. Pagoda Tang dibangun dari kayu. Selama Dinasti Ming gempa bumi menghancurkan banyak kuil dan pagoda. Pada masa pemerintahan Kaisar Ming Wanli pada tahun 1579, sebuah pagoda bata dibangun untuk meniru desain struktur kayu aslinya. Kuil dan pagoda diperbaharui beberapa kali selama Dinasti Qing. Tentara Republik awal menggunakan kuil itu sebagai lokasi perkemahan, tetapi pada tahun 1940 mendanai proyek restorasi untuk memperbarui kuil dan membawa pekerjaan ke daerah tersebut. Para biksu Buddha kembali ke kuil.