Burg Pyrmont werd in de 12e eeuw gebouwd door Kuno von Schönburg. Het werd voor het eerst genoemd in document dat dateert uit 1225. De familie Waldbott Bassenheim herstelde het kasteel in 1712, maar het werd gedeeltelijk gesloopt tijdens de Franse bezetting in het tij van de 18e en 19e eeuw. De laatste restauratie vond plaats in 1912. Vandaag is het kasteel van Pyrmont open voor het publiek.