Az első vár ezen a helyen, egy normann motte és bailey kastély, említik 1148-ban, hogy a Bigod család tulajdonában van. Henrik angol király parancsára 1174-ben elpusztították, mert Hugh Bigod, Norfolk 1.grófja csatlakozott a király megdöntésére irányuló lázadáshoz. 1189-ben Henrik utódja I. Richárd angol és Hugh fia, Roger, Norfolk 2. grófja visszanyerte királyi kegyét. Ezután nekilátott a jelenlegi kastély építésének, amelyet 1213-ban fejeztek be. A Framlingham-kastély abban az időben szokatlan volt, hogy nem volt központi őrzése, ehelyett 13 falfestménytoronnyal ellátott függönyfalat használt a belső kastély védelmére. Közben első bárói háború 1215-ben Roger a lázadó bárók frakciója mellé állt, akik ellenezték János király uralmát. 1216-ban a várat a királyi erők vették át. Néhány évvel később a várat visszaadták a Bigodoknak. 1270-ben Norfolk 5. grófja, szintén Roger Bigod örökölte a kastélyt, és kiterjedt felújításokat vállalt, miközben jelentős luxusban és stílusban élt. Ennek eredményeként Roger bárói ellenzéket vezetett Edward további adók iránti kérelme és a francia háborúk támogatása ellen. Edward erre azzal válaszolt, hogy lefoglalta Roger földjeit, és csak azzal a feltétellel engedte szabadon őket, hogy Roger halála után a koronának adja őket. Roger beleegyezett, a Framlingham-kastély pedig 1306-ban bekövetkezett halálakor a koronához került. A 13. század végére egy nagy börtön épült a kastélyban. A 14.században a Framlingham-kastélyt Thomas of Brotherton, Norfolk grófja kapta. Később abban a században a kastély az Ufford családhoz került, akik Suffolk grófjai voltak, később pedig Thomas de Mowbray, Norfolk hercege. Úgy tűnik, hogy a Mowbrays a 15.század nagy részében a Framlingham-kastélyt használta fő hatalmi székhelyként. 1476-ban a kastély átkerült John Howard, Norfolk hercege. A Howards alatt a kastélyt alaposan korszerűsítették, a divatos téglát pedig fejlesztésekhez használták. 1485-ben, a Rózsák háborúja, A Framlingham-kastélyt a korona elkobozta, csak Thomas Howardnak, Norfolk 2.hercegének adták vissza 1513-ban. Thomas itt töltötte nyugdíjba vonulását, és ez idő alatt a kastélyt pazar stílusban díszítették. A 3. norfolki herceg, más néven Thomas, sokkal kevésbé használta a kastélyt, és úgy tűnik, hogy a kastély javítása az 1540-es évektől kezdve minimális volt. 1553-ban I. Mária Anglia összegyűjtötte erőit a Framlingham-kastélyban, mielőtt sikeresen bevonult volna Londonba. Ezt követően a kastély gyorsan hanyatlott. A várat 1580-tól börtönként használták, 1600-ra pedig 40 foglyot tartalmazott. 1613-ra a Framlingham-kastély elhagyott volt. 1636-ban örökléssel a Pembroke College-ba került, azzal a kikötéssel, hogy a benne lévő összes épületet le kell bontani, és szegényházra kell cserélni. Három későbbi szegényházat használtak a kastélyban, az utolsó 1839-ben bezárt. Később fúrócsarnokként, megyei bíróságként használták, valamint a helyi plébánia börtönét és készleteit tartalmazta. A második világháború alatt a brit katonaság a potenciális német invázió elleni regionális védekezés részeként használta. Jelenleg a Framlingham-kastély az angol örökség tulajdonában van.