Τα στοιχεία δείχνουν ότι ο ναός Famen Χτίστηκε κατά τη διάρκεια της βασιλείας του Αυτοκράτορα Χαν Λινγκ (156 - 189 Μ.Χ.) και επεκτάθηκε ή αναδιαμορφώθηκε κατά τη διάρκεια της Βόρειας δυναστείας Zhou (557 έως 581 μ. χ.). Χτίστηκε για να στεγάσει τους πρώτους Βουδιστές που ταξίδεψαν από τη Δύση και να χρησιμεύσουν ως Κέντρο Μετάφρασης και μελέτης. Κατά τη διάρκεια του μεταγενέστερου τμήματος της Βόρειας Δυναστείας Ζου ο Βουδισμός καταστέλλεται και οι Βουδιστές διώκονται. Ο ναός καταστράφηκε και έπεσε σε χαλάρωση. Κάτω από το σουί και μετά το Δυναστείες Τανγκ, ο Βουδισμός ήταν και πάλι υπέρ στο δικαστήριο. Ακόμη και κατά τις περιόδους όπου ο Ταοϊσμός έλαβε την πρωταρχική υποστήριξη του δικαστηρίου, η μαζική καταστολή του Βόρειου Ζου δεν επαναλήφθηκε. Μετονομάστηκε σε ναό Famen το 618 Μ.Χ. και οι χώροι ξαναχτίστηκαν με τα μεγάλα κτίρια του ναού από τον αυτοκράτορα Tang Wudi. Μετονομάστηκε και μετονομάστηκε αρκετές φορές, αλλά τελικά επέστρεψε στο όνομα Famen που δόθηκε στην αρχή της δυναστείας των Τανγκ. Ο φάμεν ήταν η πηγή των λειψάνων του Βούδα για πολλούς αυτοκράτορες Τανγκ. Κάθε φορά που ο αυτοκράτορας ήθελε να ζητήσει εύνοια με τους ουρανούς, ζήτησαν υποστήριξη από τα λείψανα και δώρισαν γενναιόδωρα στο ναό. Λόγω της ιστορίας του, οι μοναχοί έχτισαν ένα υπόγειο παλάτι για να στεγάσουν τους θησαυρούς τους και να τους κρατήσουν από αδιάκριτα μάτια και χέρια. Κατά τη διάρκεια των αιώνων η ιδέα ενός τέτοιου παλατιού που υπήρχε μέσα στους χώρους του ναού μετατράπηκε σε μύθο. Λέγεται ότι έκρυβαν τους θησαυρούς του μοναστηριού εκεί για να τους φυλάξουν από τον πόλεμο, την εισβολή και τις ιδιοτροπίες των καταπιεστικών πολιτικών κινημάτων, αλλά επειδή κανείς δεν μπορούσε να το βρει, η ιστορία ήταν προεξοφλημένη. Η παγόδα χτίστηκε και κάηκε αρκετές φορές. Η παγόδα Τανγκ χτίστηκε από ξύλο. Κατά τη διάρκεια της δυναστείας των Μινγκ ένας σεισμός κατέστρεψε μεγάλο μέρος του ναού και της παγόδας. Κατά τη διάρκεια της βασιλείας του αυτοκράτορα Μινγκ Γουάνλι το 1579 χτίστηκε μια παγόδα από τούβλα για να μιμηθεί το σχεδιασμό της αρχικής ξύλινης δομής. Ο ναός και η παγόδα ανακαινίστηκαν αρκετές φορές κατά τη διάρκεια της δυναστείας Qing. Ο πρώιμος δημοκρατικός στρατός χρησιμοποίησε το Ναό ως στρατόπεδο, αλλά το 1940 χρηματοδότησε ένα έργο αποκατάστασης για την ανακαίνιση του ναού και την απασχόληση στην περιοχή. Οι βουδιστές μοναχοί επέστρεψαν στο ναό.