Ursprungligen byggdes denna kyrka på 1200-talet och var tillägnad Sankt Nikolaus, sjömännens beskyddare, och var en träkonstruktion. I slutet av 1200-talet fattades beslutet att bygga en stenkyrka. Oude Kerk hade till en början formen av en romersk hallkyrka, den första kyrkan i sitt slag i Nederländerna. År 1306 invigdes kyrkan av den katolska biskopen i Utrecht Guy van Avesnes van Henegouwen, vars skulpterade grav man fortfarande kan se vid Dome i Utrecht.År 1340 hade Oude Kerk byggts ut till en anmärkningsvärt stor byggnad för en stad som vid den tiden hade 3-4 000 invånare. Underbart nog skadade de stora bränderna i Amsterdam 1421 och 1452, som förstörde den då huvudsakligen av trä byggda staden, inte Oude Kerk.Under 1300- och 1400-talen har kyrkan varit Amsterdams församlingskyrka, och eftersom staden växte snabbt har Oude Kerk flera gånger byggts om och utvidgats. År 1565 fick Oude Kerk ett klocktorn och sedan dess har arkitekturen inte förändrats särskilt mycket.