Το πρώτο κάστρο σε αυτόν τον ιστότοπο, ένα κάστρο Norman motte και bailey, αναφέρθηκε το 1148 ως ιδιοκτησία της οικογένειας Bigod. Καταστράφηκε το 1174 με εντολή του βασιλιά Ερρίκου Β της Αγγλίας επειδή ο Χιου Μπίγκοντ, 1ος κόμης του Νόρφολκ, είχε συμμετάσχει σε εξέγερση για την ανατροπή του βασιλιά. Το 1189 τον Ερρίκο διαδέχθηκε ο Ριχάρδος α της Αγγλίας και ο γιος του Ούγου, Ρογήρος, ο 2ος Κόμης του Νόρφολκ, ανέκτησε βασιλική εύνοια. Στη συνέχεια άρχισε να χτίζει το σημερινό κάστρο που ολοκληρώθηκε το 1213. Το κάστρο Framlingham ήταν ασυνήθιστο για την εποχή που δεν είχε κεντρικό φυλάκιο, αλλά αντ ' αυτού χρησιμοποίησε έναν τοίχο κουρτίνας με 13 πύργους τοιχογραφίας για να υπερασπιστεί το εσωτερικό κάστρο. Κατά τη διάρκεια του πρώτου Πολέμου των βαρόνων το 1215, ο Ρότζερ τάχθηκε με μια ομάδα επαναστατών βαρόνων που αντιτάχθηκαν στην κυριαρχία του βασιλιά Ιωάννη. Το 1216 το κάστρο καταλήφθηκε από τις βασιλικές δυνάμεις. Αρκετά χρόνια αργότερα το κάστρο επέστρεψε στους Bigods. Το 1270 ο 5ος κόμης του Νόρφολκ, επίσης Ρότζερ Μπίγκοντ κληρονόμησε το κάστρο και ανέλαβε εκτεταμένες ανακαινίσεις εκεί ενώ ζούσε με μεγάλη πολυτέλεια και στυλ. Ως αποτέλεσμα, ο Ρότζερ ηγήθηκε μιας βαρονικής αντιπολίτευσης ενάντια στο αίτημα του Έντουαρντ για πρόσθετους φόρους και υποστήριξη για τους γαλλικούς πολέμους του. Ο Έντουαρντ απάντησε καταλαμβάνοντας τα εδάφη του Ρότζερ και τα απελευθέρωσε μόνο με την προϋπόθεση ότι ο Ρότζερ τους παραχώρησε στο στέμμα μετά το θάνατό του. Ο Ρότζερ συμφώνησε και το κάστρο Framlingham πέρασε στο στέμμα μετά το θάνατό του το 1306. Μέχρι το τέλος του 13ου αιώνα είχε χτιστεί μια μεγάλη φυλακή στο κάστρο. Τον 14ο αιώνα το κάστρο Framlingham δόθηκε στον Thomas of Brotherton, τον Κόμη του Norfolk. Αργότερα τον ίδιο αιώνα το κάστρο πέρασε στην οικογένεια Ufford, που ήταν Κόμητες του Σάφολκ, και αργότερα στον Thomas de Mowbray, ο Δούκας του Νόρφολκ. Οι Mowbrays φαίνεται να έχουν χρησιμοποιήσει το κάστρο Framlingham ως την κύρια έδρα της εξουσίας τους για το μεγαλύτερο μέρος του 15ου αιώνα. Το 1476 το κάστρο πέρασε Τζον Χάουαρντ, ο Δούκας του Νόρφολκ. Κάτω από το Χάουαρντς το κάστρο εκσυγχρονίστηκε εκτενώς και χρησιμοποιήθηκε μοντέρνο τούβλο για βελτιώσεις. Το 1485, στο τέλος του πόλεμοι των τριαντάφυλλων, το κάστρο Framlingham κατασχέθηκε από το στέμμα, μόνο για να επιστραφεί Τόμας Χάουαρντ, ο 2ος δούκας του Νόρφολκ, το 1513. Ο Θωμάς πέρασε τη συνταξιοδότησή του εδώ και κατά τη διάρκεια αυτής της περιόδου το κάστρο ήταν δαπανηρά διακοσμημένο σε πλούσιο στιλ. Ο 3ος Δούκας του Νόρφολκ, που ονομάζεται επίσης Θωμάς, έκανε πολύ λιγότερη χρήση του κάστρου και οι επισκευές στο κάστρο φαίνεται να ήταν ελάχιστες από το 1540 και μετά. Το 1553 η Μαρία Α της Αγγλίας συγκέντρωσε τις δυνάμεις της στο Κάστρο του Φράμλινγκχαμ πριν βαδίσει με επιτυχία στο Λονδίνο. Μετά από αυτό το κάστρο έπεσε σε γρήγορη παρακμή. Το κάστρο χρησιμοποιήθηκε ως φυλακή από το 1580 και μετά και από το 1600 η φυλακή του κάστρου περιείχε 40 κρατούμενους. Μέχρι το 1613 το κάστρο Framlingham βρισκόταν εγκαταλελειμμένο. Το 1636 πήγε στο Pembroke College μέσω κληρονομιάς με την προϋπόθεση ότι όλα τα κτίρια στο εσωτερικό έπρεπε να κατεδαφιστούν και να αντικατασταθούν από ένα φτωχό σπίτι. Τρία επόμενα φτωχά σπίτια χρησιμοποιήθηκαν μέσα στο κάστρο, το τελευταίο έκλεισε το 1839. Αργότερα χρησιμοποιήθηκε ως αίθουσα τρυπανιών, ένα νομαρχιακό δικαστήριο, καθώς επίσης περιείχε την τοπική Ενοριακή φυλακή και αποθέματα. Κατά τη διάρκεια του β ' ΠΑΓΚΟΣΜΊΟΥ πολέμου, χρησιμοποιήθηκε από τον βρετανικό στρατό ως μέρος της περιφερειακής άμυνας ενάντια σε πιθανή γερμανική εισβολή. Προς το παρόν το κάστρο Framlingham ανήκει στην αγγλική κληρονομιά.