Originalmente construída no século XIII e dedicada a São Nicolau, patrono da igreja dos marinheiros, tinha sido uma construção de madeira. No final do século XIII, foi tomada a decisão de construir uma igreja de pedra. O Oude Kerk tinha inicialmente a forma de uma igreja de salão romana, a primeira igreja do seu género na Holanda. Em 1306, a igreja foi consagrada pelo bispo católico de Utrecht Guy van Avesnes van Henegouwen, cuja sepultura esculpida ainda se pode ver no Dome em Utrecht.Em 1340, o Oude Kerk tinha sido ampliado para uma estrutura notavelmente grande para uma cidade, que na altura tinha três a quatro mil habitantes. Maravilhosamente, os grandes incêndios de Amesterdão em 1421 e 1452, que arruinaram a cidade de Oude Kerk, então maioritariamente construída de madeira, não danificaram o Oude Kerk.Nos séculos XIV e XV, a igreja tem sido a igreja paroquial de Amesterdão, e como a cidade cresceu rapidamente, a Oude Kerk foi reconstruída e ampliada várias vezes. Em 1565 o Oude Kerk recebeu a torre sineira e, desde então, a sua arquitectura não mudou muito.