Původně byl tento kostel postavený ve 13. století a zasvěcený svatému Mikuláši, patronovi námořníků, dřevěnou stavbou. Na konci 13. století bylo rozhodnuto o stavbě kamenného kostela. Oude Kerk měl zpočátku podobu římského halového kostela, prvního kostela svého druhu v Nizozemsku. V roce 1306 kostel vysvětil katolický biskup z Utrechtu Guy van Avesnes van Henegouwen, jehož sochařsky ztvárněný hrob můžete dodnes vidět v utrechtském Dómu.V roce 1340 byl Oude Kerk rozšířen na stavbu, která byla na tehdejší město s třemi až čtyřmi tisíci obyvateli pozoruhodně velká. Je obdivuhodné, že velké požáry Amsterdamu v letech 1421 a 1452, které zničily tehdy převážně dřevěné město, Oude Kerk nepoškodily.Ve 14. a 15. století byl kostel amsterdamským farním kostelem, a protože se město rychle rozrůstalo, byl Oude Kerk několikrát přestavěn a rozšířen. V roce 1565 dostal Oude Kerk zvonici a od té doby se jeho architektura příliš nezměnila.
