Muzeul este găzduit în frumosul conac numit Lady Stair ' s House, care a fost construit în 1622 și este numit după un proprietar timpuriu, Elizabeth, contesa Dowager de Stair. Clădirea a fost donată orașului Edinburgh în 1907, pentru a fi transformată într-un muzeu.Unele dintre cele mai importante obiecte adăpostite în muzeu includ tipografia pe care au fost tipărite romanele lui Sir Walter Scott, masa sa, biroul de scris al lui Robert Burn și toiagul de pescuit și pipa de fumat a lui Stevenson. Chiar dacă nu s-ar putea fi un Scott, Burns sau Stevenson entuziast, Muzeul este situat pe Royal Mile, clădirea istorică în care este găzduit este foarte fermecător
