Begonnen in het begin van de 13e eeuw als vervanging voor een vroegere Romaanse kerk, werd de bouw voortgezet tot de rest van de eeuw in de plaatselijke Scheldegotische stijl (vernoemd naar de nabijgelegen rivier). Kenmerkend voor deze stijl is het gebruik van blauwgrijze steen uit het Doornik gebied, de enkele grote toren boven de kruising, en de slanke torentjes op de hoeken van het gebouw.
Gebouwd in het oude handelscentrum van Gent naast de bruisende Korenmarkt, was de Sint-Nicolaaskerk populair bij de gilden waarvan de leden hun zaken in de buurt deden. De gilden hadden hun eigen kapellen die in de 14e en 15e eeuw aan de zijkanten van de kerk werden toegevoegd.
De centrale toren, die gedeeltelijk door de stad werd gefinancierd, diende als observatiepost en droeg de stadsklokken totdat het naburige Belfort van Gent werd gebouwd. Deze twee torens, samen met de Sint-Bavo-Kathedraal, bepalen nog steeds de beroemde middeleeuwse skyline van het stadscentrum. Een van de schatten van de kerk is het orgel, geproduceerd door de beroemde Franse orgelbouwer Aristide Cavaillé-Coll.
Het gebouw verslechterde geleidelijk door de eeuwen heen, in een mate die zijn stabiliteit bedreigde. Scheuren werden bedekt met gips, vensters werden dichtgemetseld om de muren te versterken, en in de 18e eeuw werden kleine huisjes en winkeltjes gebouwd tegen de vervallen gevels. De belangstelling voor de kerk als historisch monument ontstond rond 1840 en aan het begin van de 20e eeuw ontstonden grote restauratieplannen. De huizen naast de kerk werden gesloopt en sindsdien zijn veel renovatiewerkzaamheden uitgevoerd.
