Kościół św. Piotra został założony pod koniec VII wieku przez amandusa, misjonarza wysłanego przez królów Franków w celu chrystianizacji pogańskich mieszkańców regionu, który założył dwa klasztory: św. Bawona i św. Piotra na Blandijnbergu. Podczas zimy 879-80 Opactwo zostało splądrowane i splądrowane przez Normanów i pozostało stosunkowo ubogie aż do X wieku,kiedy darowizny majątku i relikwii przez hrabiego Arnulfa i znacznie je wzbogaciły, podobnie jak dalsze darowizny przez kuzyna Arnulfa, króla Anglii Edgara. W drugiej połowie wieku było to najbogatsze Opactwo we Flandrii, a reputacja szkoły opackiej rozciągała się daleko poza miasto.
W 984 roku Gerbert z Aurillac, dyrektor Szkoły katedralnej w Reims, (późniejszy papież Sylwester II) zapytał, czy uczniowie z Reims mogą zostać przyjęci do szkoły św. Piotra, a jej renoma jako centrum artes liberales trwała do XI wieku. Św. Piotr, dzięki posiadaniu dużych połaci ziemi, odegrał również pionierską rolę w uprawie w XII i XIII wieku, przekształcając lasy, wrzosowiska i bagna w pola uprawne. W XV wieku rozbudowany program budowy stworzył bibliotekę i skryptorium opactwa, powiększył refektarz, a Kościół Opacki i inne budynki zostały znacznie upiększone.
Pierwszy upadek Świętego Piotra rozpoczął się po rewolcie w Gandawie w 1539 roku, a do 1560 roku niskie kraje pogrążyły się w kryzysie religijnym, który doprowadził do ataku ikonoklastów w 1566 roku, w którym Kościół opactwa został zniszczony, biblioteka splądrowana, a inne budynki poważnie uszkodzone. Szpital został oddany do użytku jako tymczasowy dom dla mnichów, a refektarz służył jako miejsce kultu. Jednak sprzeciw nadal trwał i w 1578 opat i mnisi zostali zmuszeni do ucieczki do Douai. Budynki opactwa zostały sprzedane na aukcji publicznej i zostały częściowo wyburzone, materiały użyte do budowy murów miejskich. Opactwo ostatecznie wróciło w ręce kościoła w 1584 roku i ostatecznie zostało odbudowane, z nowym kościołem opackim, rozpoczętym w 1629 roku, w stylu barokowym, a także kilkoma innymi nowymi budowlami i remontami. W XVIII wieku opactwo po raz kolejny rozkwitło, ponieważ budowano nowe budynki, a starsze powiększano, w tym przekształcając Stary akademik w bibliotekę z ponad dziesięcioma tysiącami książek.
Jednak koniec nie był daleki, najpierw z rewolucją Brabancką w latach 1789-90, a następnie inwazją francuską w 1793 roku. Ostatecznie 1 września 1796 roku Dyrektoriat zlikwidował wszystkie instytucje religijne. W 1798 roku biblioteka została opróżniona i ostatecznie przeniesiona na Uniwersytet w Gandawie. Od 1798 Kościół Opacki był używany jako muzeum, ale został zwrócony na własność Kościoła w 1801. W 1810 roku reszta opactwa stała się własnością miasta Gandawa i została częściowo rozebrana pod budowę koszar wojskowych, które pozostały na miejscu do 1948 roku.
Około 1950 roku miasto rozpoczęło trwający do dziś program renowacji, który rozpoczął się od klasztoru i kapituły, a następnie zachodniego skrzydła, w tym dawnego refektarza i kuchni. W latach 70.ukończono prace nad piwnicami winnymi i strychami, w 1982 r. ukończono prace nad ogrodami opackimi, a w 1986 r. nad tarasem. W latach dziewięćdziesiątych XX wieku rozpoczęto odbudowę skrzydła refektarza.
Opactwo jest obecnie wykorzystywane jako muzeum i Centrum wystawowe, w którym w 2000 r.odbyła się główna wystawa w ramach Roku cesarza Karola, a w październiku 2001 r. odbyło się 88. posiedzenie Rady Europejskiej.
