פטרוס הקדוש נוסד בסוף המאה ה -7 על ידי אמנדוס, מיסיונר שנשלח על ידי מלכי פרנקים לנצרות את תושבי האלילים באזור, שהקימו שני מנזרים באזור, סנט באבו, ו פטרוס הקדוש על בלנדינברג. בחורף 879-80 פשטו על המנזר ונשדדו על ידי הנורמנים, והוא נותר עני יחסית עד המאה ה -10, אז תרומות רכוש ושרידים מאת הרוזן ארנולף הראשון העשירו אותו במידה ניכרת, וכך גם תרומות נוספות של בן דודו של ארנולף המלך אדגר מאנגליה. במחצית השנייה של המאה זה היה המנזר העשיר ביותר בפלנדריה, והמוניטין של בית הספר למנזר התרחב הרבה מעבר לעיירה. בשנת 984, גרברט מאורילאק, מנהל בית הספר לקתדרלה של ריימס, (לימים האפיפיור סילבסטר השני) שאל האם ניתן להתקבל לתלמידים מריימס לסנט פיטר, ומוניטין כמרכז ארטס ליברלס נמשך עד המאה ה -11. פטרוס הקדוש, באמצעות בעלותו על שטחי אדמה גדולים, מילא גם תפקיד חלוצי בגידול במאות ה -12 וה -13, והפך יערות, בורות וביצות לאדמות חקלאיות. במאה ה -15 תוכנית בנייה רחבת היקף יצרה את ספריית המנזר וסקריפטוריום, הגדילה את בית הזיקוק, וכנסיית המנזר ובניינים אחרים היו מיופים במידה ניכרת. דעיכתו הראשונה של פטרוס הקדוש החלה בעקבות מרד גנט בשנת 1539, ובשנות ה-1560 נקלעו מדינות השפלה למשבר דתי שהביא להתקפה של איקונוקלסטים בשנת 1566 בה נהרסה כנסיית המנזר, הספרייה נבזזה ובניינים אחרים נפגעו קשות. המרפאה נלחצה לשירות כבית זמני לנזירים ולבית הזיקוק ששימש כמקום פולחן. עם זאת נמשכה ההתנגדות ובשנת 1578 נאלצו אב המנזר והנזירים לברוח לדואי. בנייני המנזר נמכרו במכירה פומבית ונהרסו בחלקם, והחומרים שימשו לבניית חומות העיר. המנזר חזר לבסוף לידי הכנסייה בשנת 1584, ובסופו של דבר הוא נבנה מחדש, עם כנסיית מנזר חדשה, שהחלה בשנת 1629, בסגנון הבארוק, כמו גם כמה מבנים ושיפוצים חדשים אחרים. במהלך המאה ה -18 המנזר שוב פרח, כאשר נבנו בניינים חדשים והגדילו את הישנים יותר, כולל הסבת המעונות הישנים לספרייה עם יותר מעשרת אלפים ספרים. עם זאת, הסוף לא היה רחוק, תחילה עם מהפכת בראבנט של 1789-90, אז הפלישה הצרפתית של 1793. לבסוף, ב-1 בספטמבר 1796, המדריך ביטל את כל מוסדות הדת. בשנת 1798 התרוקנה הספרייה ובסופו של דבר הועברה לאוניברסיטת גנט. משנת 1798 שימשה כנסיית המנזר כמוזיאון, אך הוחזרה לבעלות הכנסייה בשנת 1801. בשנת 1810, שאר המנזר הפך לנחלת העיר גנט, ונהרס בחלקו לבניית צריף צבאי, שנותר במקום עד 1948. בסביבות 1950 השיקה העיר תוכנית שיקום, שעדיין נמשכת, שהחלה עם המנזר ובית הפרקים, ואז האגף המערבי, כולל בית הזיקוק והמטבחים הישנים. העבודה על מרתפי היין ועל עליית הגג הושלמה בשנת 1970, ובשנת 1982 הושלמה העבודה על גני המנזר, ובשנת 1986 המרפסת. בשנת 1990 שיקום האגף חדר האוכל החלה. המנזר משמש כיום כמוזיאון ומרכז תערוכות, שבשנת 2000 שכנה תערוכה גדולה במסגרת שנת הקיסר צ ' ארלס, ובאוקטובר 2001 אירחה את הישיבה ה -88 של המועצה האירופית.