Prvi dvorac na ovom sajtu, Norman motte i bailey castle, je spomenuto u 1148 kao vlasništvu porodice Bigod. Uništen je 1174. godine po naređenju engleskog kralja Henrika II jer se Hugh Bigod, 1. grof od Norfolka, pridružio pobuni da zbaci kralja. Henrika je 1189. naslijedio engleski Richard I, A Hughov sin Roger, 2. grof od Norfolka, dobio je kraljevsku naklonost. Zatim je krenuo u izgradnju sadašnjeg dvorca koji je završen 1213.godine. Framlingham Castle je neobično za vrijeme u tome da nema centralne zadržati, ali umjesto toga koristeći zid zavjese sa 13 mural Kule da brani unutrašnje dvorac. Tokom Prvog Baronskog rata 1215. godine, Roger je stao na stranu frakcije pobunjeničkih Barona koji su se protivili vladavini kralja Johna. 1216. godine dvorac su zauzele kraljevske snage. Nekoliko godina kasnije dvorac je vraćen u Bigods. Godine 1270. 5. grof od Norfolka, također je Roger Bigod naslijedio zamak i tamo obavio obimne obnove dok je živio u značajnom luksuzu i stilu. Roger je bio jako dužan Kralju Edwardu I. Kao rezultat toga, Roger je vodio baronsku opoziciju protiv Edwardovog zahtjeva za dodatnim porezima i podrškom za njegove francuske ratove. Edward je odgovorio oduzimanjem Rogerove zemlje i puštajući ih samo pod uslovom da ih Roger odobri kruni nakon njegove smrti. Roger se složio i Framlingham Castle prešao je na krunu na njegovu smrt 1306.godine. Do kraja 13.vijeka u dvorcu je izgrađen veliki zatvor. U 14. stoljeću dvorac Framlingham dat je Thomasu od Brothertona, Grofu od Norfolka. Kasnije tog veka dvorac je prešao u porodicu Ufford, koji su bili Earls of Suffolk, a kasnije i Thomas de Mowbray, Vojvoda od Norfolka. Čini se da su Mowbrays koristili dvorac Framlingham kao svoje glavno sjedište moći veći dio 15.vijeka. Dvorac je 1476. godine prešao na Johna Howarda, vojvodu od Norfolka. Pod Howards dvorac je intenzivno modernizovana i moderan cigle je korišten za poboljšanja. 1485.godine, na kraju Ratova ruža, dvorac Framlingham oduzeo je kruna, samo da bi se vratio u Thomas Howard, 2. vojvoda Norfolka, 1513. godine. Thomas je penziju proveo ovdje i za to vrijeme dvorac je skupo uređen u raskošnom stilu. 3. Vojvoda od Norfolka, koji se naziva i Thomas, učinio je daleko manje korištenje dvorca i čini se da su popravci dvorca bili minimalni od 1540-ih pa nadalje. 1553. godine Engleska Marija i okupila je svoje snage u dvorcu Framlingham prije nego što je uspješno marširala na London. Nakon toga, zamak se brzo raspao. Dvorac se koristio kao zatvor od 1580. godine pa nadalje, a do 1600. godine zatvor dvorca sadržavao je 40 zatvorenika. Po 1613 Framlingham Castle lay derelict. Godine 1636. otišao je na Pembroke College kroz nasljedstvo uz uvjet da će sve zgrade unutra biti srušene i zamijenjene siromašnom kućom. Tri naredne siromašne kuće korištene su unutar dvorca, a posljednja zatvorena 1839.godine. Kasnije je korišten kao bušilica, Okružni sud, kao i sadrži Lokalni župni zatvor i zalihe. Tokom Drugog svjetskog rata, britanska vojska ga je koristila kao dio regionalne odbrane od potencijalne njemačke invazije. Trenutno Framlingham Castle je u vlasništvu Engleske baštine.