Originàriament aquesta construïda al segle XIII i dedicada a l'església de Sant Nicolau, patró dels mariners, havia estat una construcció de fusta. A finals del segle XIII es va decidir construir una església de pedra. L'Oude Kerk tenia al principi la forma d'una església sala romana, la primera església d'aquest tipus als Països Baixos. El 1306, l'església va ser consagrada pel bisbe catòlic d'Utrecht Guy van Avesnes van Henegouwen, la tomba esculpida del qual encara podeu veure a la cúpula d'Utrecht.El 1340, l'Oude Kerk s'havia ampliat a una estructura notablement gran per a una ciutat, que tenia en aquell moment entre tres i quatre mil habitants. Sorprenentment, els grans incendis d'Amsterdam el 1421 i el 1452, que van arruïnar llavors la ciutat construïda majoritàriament de fusta, no van danyar l'Oude Kerk.Als segles XIV i XV, l'església ha estat l'església parroquial d'Amsterdam, i com que la ciutat va créixer ràpidament, l'Oude Kerk ha estat reconstruïda i ampliada diverses vegades. L'any 1565 l'Oude Kerk va rebre el campanar i des de llavors la seva arquitectura no va canviar gaire.