Prvi dvorac na tom mjestu, normanski dvorac Mott i Baillie, spomenut je 1148.godine kao pripadnik obitelji Bigod. Uništen je 1174.godine po nalogu engleskog kralja Heinricha INSUNA, jer se Hugh Bigod, 1. grof od Norfolka, pridružio pobuni s ciljem svrgavanja kralja. 1189.Heinricha je naslijedio Richard Einsin engleski, a Hughov sin Roger, 2. grof od Norfolka, povratio je kraljevsku milost. Zatim je započeo izgradnju sadašnjeg dvorca, koji je dovršen 1213. Dvorac Framlingham bio je neobičan za to vrijeme jer nije imao središnju tvrđavu, već je umjesto toga koristio zavjesu s 13 zidnih Kula za obranu unutarnjeg dvorca. Tijekom prvog barunskog rata 1215. godine, Roger se priklonio skupini pobunjenih baruna koji su se protivili vladavini kralja Ivana. 1216. dvorac su zauzele kraljevske trupe. Nekoliko godina kasnije dvorac je vraćen Bigodama. 1270.godine 5. grof od Norfolka, također Roger Bigod, naslijedio je dvorac i tamo izvršio opsežnu obnovu, živeći u značajnom luksuzu i stilu. Kao rezultat toga, Roger je vodio barunsku oporbu protiv Eduardovog zahtjeva za dodatnim porezima i potpore njegovim francuskim ratovima. Eduard je odgovorio zauzimanjem Rogerovih zemalja i oslobađanjem samo pod uvjetom da ih Roger preda kruni nakon njegove smrti. Roger se složio, a dvorac Framlingham prešao je na krunu nakon njegove smrti 1306. Krajem 13. stoljeća u dvorcu je izgrađen veliki zatvor. U 14. stoljeću dvorac Framlingham ustupljen je Thomasu Brothertonu, grofu Norfolku. Kasnije u tom stoljeću dvorac je prešao u obitelj affords, koji su bili grofovi Suffolka, a zatim Thomas de Moubreus, vojvoda od Norfolka. Čini se da su moubrei koristili dvorac Framlingham kao svoje glavno središte moći tijekom većeg dijela 15.stoljeća. 1476. dvorac je prešao na Johna Hauarda, vojvodu od Norfolka. Pod Hauardima je dvorac znatno moderniziran, a za poboljšanja je korištena moderna opeka. 1485.godine, na kraju rata grimizne i bijele ruže, dvorac Framlingham oduzeta je krunom, ali je 1513. vraćen Thomasu Hauardu, 2. vojvodi od Norfolka. Thomas je ovdje proveo mirovinu, a za to vrijeme dvorac je bio bogato ukrašen u raskošnom stilu. 3. vojvoda od Norfolka, koji se naziva i Thomas, mnogo je manje koristio dvorac, a čini se da su popravci dvorca bili minimalni od 1540-ih nadalje. 1553. godine Marija od Insusa iz Engleske okupila je svoje trupe u dvorcu Framlingham prije nego što se uspješno preselila u London. Nakon toga dvorac je brzo propao. Od 1580. godine dvorac se počeo koristiti kao zatvor, a do 1600.godine dvorac je držao 40 zatvorenika. Do 1613. godine dvorac Framlingham ležao je napušten. 1636.godine nasljedstvom je prešao na Pembroke College, uz uvjet da sve zgrade iznutra budu srušene i zamijenjene ubožnicom. Tri sljedeće ubožnice korištene su unutar dvorca, od kojih je posljednja zatvorena 1839. Kasnije je korišten kao vježbaonica, Županijski sud i kao lokalni župni zatvor i skladišta. Tijekom Drugog svjetskog rata Britanska vojska koristila ga je kao dio regionalne obrane od potencijalne njemačke invazije. Danas dvorac Framlingham pripada Engleskoj baštini.