Pierwotnie ten zbudowany w XIII w. i poświęcony św. Mikołajowi, patronowi żeglarzy kościół, był konstrukcji drewnianej. Pod koniec XIII w. podjęto decyzję o budowie kamiennego kościoła. Oude Kerk miał początkowo formę rzymskiego kościoła halowego, pierwszego tego typu kościoła w Holandii. W 1306 roku kościół został poświęcony przez katolickiego biskupa Utrechtu Guy van Avesnes van Henegouwen, którego rzeźbiony grób można do dziś oglądać w Kopule w Utrechcie.W 1340 r. Oude Kerk został powiększony do wyjątkowo dużej budowli jak na miasto, które liczyło wówczas trzy do czterech tysięcy mieszkańców. Co ciekawe, wielkie pożary Amsterdamu w 1421 i 1452 roku, które zniszczyły ówczesne miasto zbudowane głównie z drewna, nie uszkodziły Oude Kerk.W XIV i XV wieku kościół był amsterdamskim kościołem parafialnym, a ponieważ miasto szybko się rozwijało, Oude Kerk był kilkakrotnie przebudowywany i powiększany. W 1565 roku Oude Kerk otrzymał dzwonnicę i od tego czasu jego architektura nie uległa większym zmianom.