Le musée est fondé le 13 avril 1895 sous le règne de Nicolas II en hommage à son père Alexandre III. La première collection est constituée d'une partie des œuvres d'art rassemblées par Alexandre au Palais Anitchkov à laquelle sont ajoutées des œuvres en provenance du Musée de l'Ermitage et de l'Académie impériale des beaux-arts. Après la Révolution russe de 1917, beaucoup de collections privées des familles de la noblesse et de la bourgeoisie russes furent confisquées et confiées au Musée Russe dont le célèbre Carré noir de Kazimir Malevitch.
Le musée occupe plusieurs palais reconvertis à cet usage. Le bâtiment principal, le Palais Michel, est situé près de la place des Arts au cœur de Saint-Pétersbourg, non loin de la perspective Nevski. Cette ancienne résidence du grand-duc Michel, de style néoclassique, fut construite entre 1819 à 1825 sur des plans de l'architecte italien Carlo Rossi et fut la demeure de sa veuve, la grande-duchesse Hélène, de ses enfants et petits-enfants dont le duc Georges-Alexandre de Mecklembourg-Strelitz (1859-1909).
Les autres bâtiments dépendant du musée sont le Palais d'Été de Pierre le Grand (1710-1714), le Palais de Marbre de Grigori Orlov (1768-1785), le Château Saint-Michel de Paul Ier (1797-1801) et le Palais Stroganov (1752-54) sur la perspective Nevski.
La collection comprend près de 400 000 œuvres d'art : peintures, sculptures et autres objets de décoration. Les plus remarquables sont une collection de 6 000 icônes russes remontant pour certaines au Xe siècle, 10 000 œuvres de peintres russes du XVIIIe au XXe siècle.