Selle koha esimene loss, Norman motte ja bailey loss, mainiti 1148.aastal kui Bigodi perekonna omanduses. See hävitati 1174. aastal Inglismaa kuninga Henry II käsul, sest Norfolki 1. krahv Hugh Bigod oli ühinenud mässuga kuninga kukutamiseks. Aastal 1189 sai Henry järglaseks Richard I ja Hugh poeg Roger, Norfolki 2.krahv, sai kuningliku poolehoiu. Seejärel asus ta ehitama praegust lossi, mis valmis 1213.aastal. Framlinghami loss oli selleks ajaks ebatavaline, kuna tal polnud keskset hoidmist, vaid selle asemel kasutati sisemise lossi kaitsmiseks 13 seinamaalingutorniga kardinaseina. Esimese parunite sõja ajal aastal 1215 Asus Roger mässuliste parunite fraktsiooni poolele, kes oli kuningas Johni valitsemise vastu. 1216. aastal vallutasid lossi Kuninglikud väed. Mitu aastat hiljem tagastati loss Bigodidele. 1270. aastal Norfolki 5. krahv, ka Roger Bigod päris lossi ja tegi seal ulatuslikke ümberehitusi, elades samas märkimisväärses luksuses ja stiilis. Selle tulemusena juhtis Roger paruniaalset vastuseisu Edwardi täiendavate maksude ja prantsuse sõdade toetamise taotluse vastu. Edward vastas, haarates Rogeri maad ja vabastades need ainult tingimusel, et Roger andis need pärast tema surma kroonile. Roger nõustus ja Framlinghami loss läks kroonile tema surma korral aastal 1306. 13. sajandi lõpuks oli lossi ehitatud suur vangla. 14. sajandil Anti Framlinghami loss Thomas Brothertonist, Norfolki krahv. Hiljem sel sajandil läks loss uffordide perekonnale, kes olid Suffolki krahvid, ja hiljem Thomas de Mowbrayle, Norfolki hertsog. Tundub, et Mowbrays on suurema osa 15.sajandist kasutanud Framlinghami lossi oma peamise võimukohana. Aastal 1476 läks loss Norfolki hertsogile John Howardile. Howardsi all moderniseeriti lossi ulatuslikult ja parenduste jaoks kasutati moodsat tellist. Aastal 1485, rooside sõdade lõpus, konfiskeeris kroon Framlinghami lossi, et see tagastataks Norfolki 2.hertsogile Thomas Howardile aastal 1513. Thomas veetis siin oma pensionipõlve ja selle aja jooksul oli loss kallilt kaunistatud uhkes stiilis. Norfolki 3. hertsog, keda nimetatakse ka Thomaseks, kasutas lossi palju vähem ja lossi remont näib olevat olnud minimaalne alates 1540.aastatest. 1553. aastal kogus Inglismaa Maarja i oma väed framlinghami lossi, enne kui edukalt Londonile marssis. Pärast seda läks loss kiiresti langusesse. Linnust hakati vanglana kasutama alates 1580.aastast ja 1600. aastaks oli lossivanglas 40 vangi. Aastaks 1613 oli framlinghami loss mahajäetud. Aastal 1636 läks see pärimise teel Pembroke kolledžisse tingimusega, et kõik sees olevad hooned tuleb lammutada ja asendada vaestemajaga. Lossi sees kasutati kolme järgnevat vaestemaja, viimane suleti 1839.aastal. Hiljem kasutati seda nii puurimissaalina, maakohtuna kui ka kohaliku kihelkonna vanglana ja varudena. Teise maailmasõja ajal kasutas seda Briti sõjavägi osana piirkondlikust kaitsest võimaliku Saksamaa sissetungi vastu. Praegu kuulub framlinghami loss inglise pärandile.