Burg Pyrmont a fost construit la sfârșitul secolului al XII-lea de către Kuno von Schönburg. A fost menționată pentru prima dată în documentul datând din 1225. Familia Waldbott Bassenheim a restaurat castelul în 1712, dar a fost parțial demolat în timpul ocupației franceze în valul secolelor 18 și 19. Ultima restaurare a fost făcută în 1912. Astăzi Castelul Pyrmont este deschis publicului.