הטירה הראשונה באתר זה, א נורמן מוטה ו טירת ביילי, הוזכר בשנת 1148 כבעלות משפחת ביגוד. הוא נהרס בשנת 1174 בהוראת קינג הנרי השני מאנגליה כי יו ביגוד, הרוזן ה -1 מנורפולק, הצטרף למרד להפלת המלך. בשנת 1189 הנרי הוחלף על ידי ריצ 'רד הראשון מאנגליה ובנו של יו, רוג' ר, הרוזן ה -2 מנורפולק, החזיר לעצמו חסד מלכותי. לאחר מכן החל לבנות את הטירה הנוכחית שהושלמה בשנת 1213. טירת פרמלינגהם הייתה יוצאת דופן באותה תקופה ללא שמירה מרכזית, אלא השתמשה בקיר מסך עם 13 מגדלי קיר כדי להגן על הטירה הפנימית. במהלך מלחמת הברונים הראשונה בשנת 1215, רוג 'ר צידד בסיעה של ברונים מורדים שהתנגדו לשלטון המלך ג' ון. בשנת 1216 הטירה נלקחה על ידי כוחות המלוכה. כמה שנים לאחר מכן הוחזרה הטירה לביגודים. בשנת 1270 הרוזן ה -5 מנורפולק, גם רוג ' ר ביגוד ירש את הטירה וביצע שם שיפוצים נרחבים תוך שהוא חי ביוקרה ובסגנון ניכרים. כתוצאה מכך, רוג ' ר הוביל התנגדות ברונית נגד בקשתו של אדוארד למסים נוספים ותמיכה במלחמותיו הצרפתיות. אדוארד הגיב בכך שתפס את אדמותיו של רוג 'ר ושחרר אותן רק בתנאי שרוג' ר יעניק אותן לכתר לאחר מותו. רוג ' ר הסכים וטירת פרמלינגהם עברה לכתר עם מותו בשנת 1306. בסוף המאה ה -13 נבנה בטירה בית כלא גדול. במאה ה -14 טירת פרמלינגהם ניתנה לתומאס מברוטרטון, הרוזן מנורפולק. מאוחר יותר באותה המאה עברה הטירה למשפחת אופורד, שהיו ארל ' ס מסופוק, ומאוחר יותר ל תומאס דה מובריי, ה דוכס נורפולק. נראה כי מובריי השתמשו בטירת פרמלינגהם כמושב הכוח העיקרי שלהם במשך רוב המאה ה -15. בשנת 1476 עברה הטירה לג ' ון הווארד, הדוכס מנורפולק. תחת האוורדים הטירה עברה מודרניזציה נרחבת ולבנים אופנתיות שימשו לשיפורים. בשנת 1485, בסוף שנת מלחמות השושנים, טירת פרמלינגהם הוחרם על ידי הכתר, רק כדי להחזיר אותו תומאס האוורד, ה דוכס 2 מנורפולק, בשנת 1513. תומאס בילה את פרישתו כאן ובאותה תקופה הטירה עוטרה ביוקר בסגנון מפואר. הדוכס ה -3 מנורפולק, המכונה גם תומאס, עשה הרבה פחות שימוש בטירה ונראה כי התיקונים בטירה היו מינימליים משנות ה-1540 ואילך. בשנת 1553 מרי הראשונה מאנגליה אספה את כוחותיה בטירת פרמלינגהם לפני שצעדה בהצלחה ללונדון. לאחר מכן הטירה נכנסה לירידה מהירה. הטירה שימשה כבית כלא משנת 1580 ואילך ובשנת 1600 הכיל כלא הטירה 40 אסירים. בשנת 1613 טירת פרמלינגהם שכבה נטושה. בשנת 1636 היא עברה למכללת פמברוק בירושה בתנאי שכל הבניינים בפנים ייהרסו ויוחלפו בבית עניים. שלושה בתי עניים שלאחר מכן שימשו בתוך הטירה, האחרון נסגר בשנת 1839. מאוחר יותר הוא שימש כאולם תרגילים,בית משפט מחוזי, וכן הכיל את בית הכלא המקומי והמניות. במהלך מלחמת העולם השנייה, הוא שימש את הצבא הבריטי כחלק מההגנות האזוריות נגד פלישה גרמנית פוטנציאלית. נכון לעכשיו טירת פרמלינגהם נמצאת בבעלות מורשת אנגלית.