1764. aastal Katariina Suure poolt asutatud Ermitaaž on tohutu kunsti- ja kultuurimuuseum, mis näitab üle 3 miljoni eseme kogu maailmas.Ermitaaži arhitektuuriline ajalugu on tihedalt seotud Talvepalee, tsaaride keiserliku residentsi ajalooga, mis koos nelja teise hoonega annab muuseumile tänapäeval koha.
Palee projekteerimise tellis 1754. aastal Venemaa keisrinna Elizabeth itaalia päritolu vene arhitekt Bartolomeo Rastrelli, et luua rikkalik barokkstiilis kuninglik residentuur 40 aastat varem Peeter Suure poolt ehitatud väiksema, Neeva jõele vaatega palee asemele.
Pärast Elizabethi surma tellis uus keisrinna Katariina II palee märkimisväärse laiendamise neoklassitsistlikes vormides, samuti hulga uute hoonete ehitamise, mille projekteerisid vene, itaalia ja prantsuse arhitektid, sealhulgas Ivan Starov, Juri Velten, Giacomo Quarenghi ja Jean-Baptiste Vallin de la Mothe. Umbes 1795. aastal valminud uus monumentaalne kompleks, mis koosnes koos Talvepalee, kahe teise palee ja teatriga, sai nimeks "Ermitaaž" (prantsuse keelest, mis tähendab umbes "taganemiskoht"). Ühe uue palee, nn Suure Eremitaasi eesmärk oli luua kodu keisrinna kunstikollektsioonile, mis koosnes peamiselt flaami, hollandi ja itaalia vanade meistrite maalidest. Hiljem laiendati kollektsiooni ka vanade skulptuuride, joonistuste, juveelide, müntide ja medalitega.
1852. aastal avas keiser Nikolai I kollektsiooni üldsusele (kuigi mitte kõigile, vaid ainult valitud külastajatele), luues sellega Venemaa esimese riikliku muuseumi. Pärast Vene revolutsiooni 1917. aastal avati muuseum ja endine keiserlik palee lõpuks üldsusele.
