Burg Pyrmont blev bygget i slutningen af det 12 århundrede af Kuno von Schönburg. Det blev første gang nævnt i dokument fra 1225. Familyaldbott Bassenheim familie restaureret slottet i 1712, men det blev delvist revet ned under den franske besættelse i tidevandet af 18.og 19. århundrede. Den sidste restaurering blev lavet i 1912. I dag er Pyrmont castle åben for offentligheden.