Kostol postavený v 13. storočí a zasvätený svätému Mikulášovi, patrónovi námorníkov, bol pôvodne drevený. Koncom 13. storočia bolo rozhodnuté postaviť kamenný kostol. Oude Kerk mal spočiatku podobu rímskeho halového kostola, prvého kostola svojho druhu v Holandsku. V roku 1306 kostol vysvätil katolícky biskup z Utrechtu Guy van Avesnes van Henegouwen, ktorého sochársky hrob môžete dodnes vidieť v Dóme v Utrechte.V roku 1340 bol Oude Kerk rozšírený na pozoruhodne veľkú stavbu pre mesto, ktoré malo v tom čase tri až štyri tisícky obyvateľov. Je obdivuhodné, že veľké požiare Amsterdamu v rokoch 1421 a 1452, ktoré zničili vtedy prevažne z dreva postavené mesto, Oude Kerk nepoškodili.V 14. a 15. storočí bol kostol amsterdamským farským kostolom, a keďže mesto rýchlo rástlo, Oude Kerk bol niekoľkokrát prestavaný a rozšírený. V roku 1565 dostal Oude Kerk zvonicu a odvtedy sa jeho architektúra veľmi nezmenila.