Палац Хальвиль быў пабудаваны ў 1893-1898 гадах па праекце Ісакаў Густава Класона для графа Вальтэра фон Хальвиля і яго жонкі Вільгельміны. Ён быў створаны для размяшчэння кабінета графа і шырокай калекцыі твораў мастацтва графіні. У той час як знешні выгляд будынка і двара з'яўляецца гістарычным па стылі-запазычанне архітэктурных элементаў з сярэднявечных прататыпаў і рэнесанснай Венецыі - ён быў тэхнічна цалкам сучасным па яго завяршэння-уключаючы электрычнасць, цэнтральнае ацяпленне, тэлефоны і ванныя пакоі, у той час як ліфт быў больш познім дадаткам. Графіня збірала свае творы мастацтва падчас сваіх падарожжаў па ўсім свеце, каб заснаваць музей, і, такім чынам, палац быў падораны шведскаму дзяржаве ў 1920 годзе, за дзесяць гадоў да яе смерці. Калекцыя налічвае каля 50 000 прадметаў, і музей па-ранейшаму адкрыты для публікі.