לכנסייה הייתה היסטוריה סוערת. בשנת 512 לספירה סן ז 'רמן, שלימים יהפוך לבישוף פריז, שכנע את המלך המרובינגיאני צ' ילדברט לבנות מנזר עם כנסייה. הכנסייה, שהחזיקה שרידים חשובים, הוקדשה לסנט וינסנט ולצלב הקדוש. זו הייתה אחת הכנסיות החשובות בצרפת, ומקום המנוחה האחרון של מלכי מרובינגיה. גגו נצבע בזהב, מה שהוביל לשם 'סן ז' רמן-לה-דוראת '(מוזהב סן ז ' רמן). במאה התשיעית הכנסייה נשדדה מספר פעמים על ידי הוויקינגים ובסופו של דבר נהרסה באש. בסביבות שנת 1000 החל שחזור הכנסייה, והיא הוקדשה בסופו של דבר בשנת 1163. במהלך ימי הביניים המאוחרים הוקמו מספר מבנים נוספים במתחם המנזר הבנדיקטיני, שגדל לאחד הגדולים והחשובים בצרפת כולה.
במהלך המהפכה הצרפתית דוכאו המסדרים הדתיים והמנזר שימש כמחסן. פיצוץ גדול של אבקת אקדח שאוחסן בחדר האוכל הרס כמעט את כל המתחם, ופגע קשות בכנסייה.
הכנסייה היום הופעתה הנוכחית של הכנסייה היא תוצאה של שיפוץ במאה התשע עשרה, כאשר האדריכל ויקטור בלטארד והצייר ז ' אן היפוליט פלנדרין התבקשו להחזיר את הכנסייה לתפארתה הקודמת.
החלק החיצוני של הכנסייה מוגדר על ידי מגדל הפעמונים החזק שלה, מהעתיקים בכל צרפת. שני מגדלים נוספים שנבנו משני צידי הטרנספט לא שרדו את עידן המהפכה. הפנים מציג תערובת של סגנונות אדריכליים שונים, תוצאה של המשך הבנייה לאורך מאות שנים. עמודים מקוריים מהמאה השישית תומכים במקהלת המאה השתים עשרה; קשתות רומנסקיות משולבות עם קמרון גותי, ויש אפילו אלמנטים בארוקיים. ישנם כמה קברים מעניינים בקפלות הכנסייה, כולל אלה של הפילוסוף רן דקארט וג 'ון השני קזימיר ואסה, שהיה מלך פולין במאה השבע עשרה עד שהפך לאב המנזר של מנזר סן ז' רמן-דה-פר.
רובע סן ז ' רמן-דה-יחסי ציבור הכנסייה נתנה את שמה ל רובע סן ז ' רמן-דה-יחסי ציבור, אזור תוסס ברובע השישי שזכה למוניטין שלו כרובע ספרותי במאה העשרים, כאשר סופרים, אינטלקטואלים ופילוסופים נפגשו באחד הרבים שלה. פִילוֹסוֹף ז 'אן פול סארטר וסימון דה בובואר נפגשו לעתים קרובות ב' קפה דה פלור 'וארנסט המינגווי היה אורח תכוף ב'לס דה מגוטס'.
