Neuhaus Castle dibangun untuk menjadi resmi mencabut dari Pangeran-Uskup dari Paderborn dan merupakan contoh gaya Weser Rennaisance. Selama pemerintahan Eric dari Brunswick-Grubenhagen pada awal tahun 1500-an apa sekarang merupakan bagian depan kastil dibangun. Ini sering diperpanjang selama sebagian besar abad sampai mendapat bentuknya saat ini pada tahun 1590, selama pemerintahan Dietrich dari Fürstenberg. Kebun Barok mengelilingi istana ditambahkan pada tahun 1736.