עדויות מצביעות על כך שמקדש פאמן נבנה בתקופת שלטונו של קיסר האן לינג (156 - 189 לספירה) והורחב או שופץ במהלך שושלת ג ' ואו הצפונית (557 עד 581 לספירה). הוא נבנה כדי לאכלס בודהיסטים מוקדמים שנסעו ממערב ולשמש כמרכז תרגום ולימוד. במהלך החלק המאוחר יותר של שושלת ג ' ואו הצפונית בודהיזם דוכא ובודהיסטים נרדפו. המקדש נהרס ונפל לריקון. תחת סוי ואז שושלות טאנג, הבודהיזם שוב היה בעד בבית המשפט. גם בתקופות בהן הדאואיזם קיבל את חסותו העיקרית של בית המשפט, הדיכוי ההמוני של ג ' ואו הצפוני לא חזר על עצמו. שמו שונה למקדש פמן בשנת 618 לספירה והשטח נבנה מחדש עם בנייני המקדש הגדולים על ידי קיסר טאנג וודי. שמו שונה ושמו שונה מספר פעמים, אך לבסוף חזר לשם התהילה שניתן בתחילת שושלת טאנג. פאמן היה מקור שרידי בודהה עבור קיסרי טאנג רבים. בכל פעם שהקיסר רצה לחפש חסד עם השמים הם חיפשו תמיכה מהשרידים ותרמו בנדיבות למקדש. בשל ההיסטוריה שלו, הנזירים בנו ארמון תת קרקעי כדי לאכלס את אוצרותיהם ולשמור עליהם מפני עיניים וידיים סקרניות. במשך מאות שנים הרעיון של ארמון כזה הקיים בשטח המקדש הפך למיתוס. אמרו שהם הסתירו שם את אוצרות המנזר כדי לשמור עליהם מפני מלחמה, פלישה וגחמות התנועות הפוליטיות המדכאות, אך מכיוון שאיש לא הצליח למצוא אותו, הסיפור הוזל. הפגודה נבנתה ונשרפה מספר פעמים. פגודת טאנג נבנתה מעץ. במהלך שושלת מינג רעידת אדמה הרסה חלק גדול מהמקדש ומהפגודה. בתקופת שלטונו של קיסר מינג ואנלי בשנת 1579 נבנתה פגודת לבנים כדי לחקות את עיצוב מבנה העץ המקורי. המקדש והפגודה שופצו מספר פעמים במהלך שושלת צ ' ינג. הצבא הרפובליקני המוקדם השתמש במקדש כאתר מחנה, אך בשנת 1940 מימן פרויקט שיקום לשיפוץ המקדש ולהבאת תעסוקה לאזור. הנזירים הבודהיסטים חזרו למקדש.