Svätého Petra založil koncom 7.storočia Amandus, misionár vyslaný Franskými kráľmi na Pokresťančenie pohanských obyvateľov regiónu, ktorý v tejto oblasti založil dva kláštory, Svätý Bavo a Svätý Peter na Blandijnberg. Počas zimy 879-80 bolo opátstvo prepadnuté a vyplienené Normani, a zostal relatívne chudobný až do 10.storočia, keď dary majetku a relikvií od gróf Arnulf I. výrazne ho obohatil, rovnako ako ďalšie dary od Arnulfovho bratranca kráľa Edgar Anglicka. Do druhej polovice storočia to bolo najbohatšie opátstvo vo Flámsku a reputácia opátskej školy siahala ďaleko za mesto.
V roku 984 Gerbert z Aurillacu, riaditeľ katedrálna škola v Remeši, (neskôr pápež Sylvester II) sa pýtal, či je možné prijať študentov z Remeša Svätý Peter, a jeho renomé ako centra artes liberales pokračovalo do 11.storočia. Svätý Peter vďaka vlastníctvu veľkých plôch pôdy zohrával priekopnícku úlohu aj v kultivácii v priebehu 12.a 13. storočia a transformoval lesy, rašeliniská a močiare na poľnohospodársku pôdu. V 15. storočí rozsiahly stavebný program vytvoril opátsku knižnicu a skriptórium, rozšíril refektár a opátsky kostol a ďalšie budovy boli značne skrášlené.
Prvý úpadok svätého Petra sa začal po revolte v Gente v roku 1539 a do roku 1560 boli nížiny uvrhnuté do náboženskej krízy, ktorá vyústila do útoku obrazoborcov v roku 1566, pri ktorom stroskotal kláštorný kostol, vyplienila knižnica a ďalšie budovy boli vážne poškodené. Ošetrovňa bola uvedená do služby ako dočasný domov pre mníchov a refektár slúžil ako miesto uctievania. Opozícia však pokračovala a v roku 1578 boli opát a mnísi nútení utiecť do Douai. Budovy opátstva boli predané na verejnej dražbe a boli čiastočne zbúrané, pričom materiály boli použité na stavbu mestských hradieb. Opátstvo sa nakoniec vrátilo do rúk kostola v roku 1584 a nakoniec bolo prestavané s novým opátskym kostolom, ktorý sa začal v roku 1629, v barokovom štýle, ako aj s niekoľkými ďalšími novými stavbami a rekonštrukciami. V priebehu 18.storočia opátstvo opäť prekvitalo, pretože sa stavali nové budovy a zväčšovali sa staršie budovy vrátane prestavby starej internátu na knižnicu s viac ako desiatimi tisíckami kníh.
Koniec však nebol ďaleko, najskôr s Brabantská revolúcia z rokov 1789-90, potom Francúzska Invázia z roku 1793. Nakoniec 1.Septembra 1796 adresár zrušil všetky náboženské inštitúcie. V roku 1798 bola knižnica vyprázdnená a nakoniec prevezená na univerzitu v Gente. Od roku 1798 bol opátsky kostol používaný ako múzeum, ale do vlastníctva kostola bol vrátený v roku 1801. V roku 1810 sa zvyšok opátstva stal majetkom mesta Gent a bol čiastočne zbúraný kvôli výstavbe vojenských kasární, ktoré na mieste zostali až do roku 1948.
Okolo roku 1950 mesto spustilo program obnovy, ktorý stále prebieha a ktorý sa začal kláštorom a kapitulou, potom západným krídlom vrátane starého refektára a kuchýň. Práce na vínnych pivniciach a podkroviach boli dokončené v roku 1970 a v roku 1982 boli dokončené práce na opátskych záhradách av roku 1986 Terasa. V roku 1990 začala obnova refektárskeho krídla.
Opátstvo sa dnes používa ako múzeum a výstavné centrum, v ktorom sa v roku 2000 nachádzala veľká výstava v rámci roku cisára Karola a v októbri 2001 sa konalo 88.zasadnutie Európskej rady.
