El Museu està ubicat a la bonica mansió anomenada Dama de l'Escala de la Casa, que va ser construïda l'any 1622 i és nomenat després d'un primer propietari, Elizabeth, Comtessa Vídua de l'Escala. L'edifici va ser donat a la Ciutat d'Edimburg, l'any 1907, per ser transformat en un museu.Alguns dels objectes més importants es troben al museu d'incloure la impremta en el qual Sir Walter Scott novel·les van ser impresa, la seva taula de menjador, Robert Cremar l'escriptori i Stevenson la canya de pescar i fumar en pipa. Tot i que podria no ser una Scott, Cremades o Stevenson entusiasta, el Museu està situat a la Royal Mile, a l'històric edifici on està ubicat és molt bonic
