Бург Пірмонт був побудований в кінці XII століття Куно фон Шенбургом. Вперше він згадується в документі, що датується 1225 роком. Сім'я уолдботт Бассенхайм відновила замок в 1712 році, але він був частково зруйнований під час французької окупації в 18-19 століттях. Остання реставрація була проведена в 1912 році. Сьогодні пірмонтський замок відкритий для відвідування.