Originalmente, esta iglesia construida en el siglo XIII y dedicada a San Nicolás, patrón de los marineros, había sido una construcción de madera. A finales del siglo XIII se decidió construir una iglesia de piedra. La Oude Kerk tenía al principio la forma de una iglesia de salón romano, la primera iglesia de este tipo en los Países Bajos. En 1306, la iglesia fue consagrada por el obispo católico de Utrecht Guy van Avesnes van Henegouwen, cuya tumba esculpida aún puede verse en la Cúpula de Utrecht. En 1340, la Oude Kerk se había ampliado hasta convertirse en una estructura de dimensiones extraordinarias para una ciudad que, por aquel entonces, tenía entre tres y cuatro mil habitantes. Es de extrañar que los grandes incendios de Ámsterdam de 1421 y 1452, que arruinaron la ciudad, en su mayoría de madera, no dañaran la Oude Kerk. En los siglos XIV y XV, la iglesia fue la iglesia parroquial de Ámsterdam, y como la ciudad creció rápidamente, la Oude Kerk fue reconstruida y ampliada varias veces. En 1565 la Oude Kerk recibió el campanario y desde entonces su arquitectura no ha cambiado mucho.