Originariamente questa chiesa, costruita nel XIII secolo e dedicata a San Nicola, patrono dei marinai, era una costruzione in legno. Alla fine del XIII secolo si decise di costruire una chiesa in pietra. La Oude Kerk aveva inizialmente la forma di una chiesa a sala romana, la prima chiesa di questo tipo nei Paesi Bassi. Nel 1306, la chiesa fu consacrata dal vescovo cattolico di Utrecht Guy van Avesnes van Henegouwen, la cui tomba scolpita è ancora visibile presso il Duomo di Utrecht. Nel 1340, la Oude Kerk era stata ampliata fino a diventare una struttura di dimensioni notevoli per una città che all'epoca contava tre o quattromila abitanti. Meravigliosamente, i grandi incendi di Amsterdam del 1421 e del 1452, che rovinarono la città, allora prevalentemente costruita in legno, non danneggiarono la Oude Kerk. Nel XIV e XV secolo, la chiesa è stata la chiesa parrocchiale di Amsterdam e, poiché la città cresceva rapidamente, la Oude Kerk è stata più volte ricostruita e ampliata. Nel 1565 la Oude Kerk ricevette il campanile e da allora la sua architettura non è cambiata molto.