Ang museo ay nakalagay sa magandang mansyon na tinatawag na Lady Stair ' s House, na itinayo noong 1622 at pinangalanan ito sa isang maagang may-ari, si Elizabeth, Dowager Countess ng Stair. Ang gusali ay naibigay sa lungsod ng Edinburgh noong 1907, upang mabago sa isang museo.Ang ilan sa mga pinakamahalagang bagay na nakalagay sa museo ay kasama ang imprenta kung saan nakalimbag ang mga nobela ni Sir Walter Scott, ang kanyang hapag kainan, desk ng pagsulat ni Robert Burn at pangingisda ni Stevenson at pipe ng paninigarilyo. Kahit na hindi ka maaaring maging isang taong mahilig sa Scott, Burns o Stevenson, ang museo ay nakatayo sa Royal Mile, ang makasaysayang gusali kung saan ito nakalagay ay napaka-kaakit-akit