Burg Pyrmont został zbudowany pod koniec XII wieku przez Kuno von Schönburg. Po raz pierwszy wzmiankowana w dokumencie z 1225 roku. Rodzina Waldbott Bassenheim odbudowała Zamek w 1712 roku, ale został on częściowo zburzony podczas okupacji francuskiej na przełomie XVIII i XIX wieku. Ostatnia renowacja miała miejsce w 1912 roku. Obecnie Zamek Pyrmont jest otwarty dla zwiedzających.