Muziejus įsikūręs gražiame dvare, vadinamame "Lady Stair ' s House", kuris buvo pastatytas 1622 m., ir jis pavadintas ankstyvojo savininko Elžbietos, "Dowager Countess of Stair" vardu. 1907 m. pastatas buvo padovanotas Edinburgo miestui, kuris buvo paverstas muziejumi.Kai kurie svarbiausi muziejuje esantys objektai yra spaustuvė, ant kurios buvo išspausdinti Sero Walterio Scotto romanai, jo valgomojo stalas, Roberto Burn rašomasis stalas ir Stevensono meškerė bei rūkymo vamzdis. Nors jums gali būti ne Scott, Burns ar Stevenson entuziastas, muziejus yra įsikūręs Royal Mile, istorinis pastatas, kur jis yra įsikūręs yra labai žavinga