В 1753–1754 годах на углу Невского проспекта и набережной Мойки вырос дом, построенный Растрелли для барона Сергея Строганова. Архитектор в это время надзирал за Зимним дворцом и жил здесь же — в старом доме, купленном Строгановым в 1742 году. Фасады нового дворца сначала выкрасили «песочною краскою с прожелтью», как стены Зимнего, и лишь позже они стали розовыми с белым. Розовый цвет держится до сих пор, а вот четыре статуи «Четыре части света» и скульптуры фронтона не сохранились.
Главный фасад по Невскому проспекту выглядит барочнее, чем фасад со стороны Мойки: 3 овальных окна, сгруппированные колонны, разорванный лучковый фронтон с гербом Строгановых. За проездной аркой открывается внутренний двор, где стоят 2 небольших сфинкса из розового гранита, перевезённые сюда со Строгановской дачи в начале двадцатого века. В 1959–1960 годах они послужили моделями для четырёх сфинксов на пристани у дачи Безбородко.
Внутри было 50 парадных комнат, а плафон Большого зала написал Джузеппе Валериани в 1753 году. От Растрелли уцелело немногое: сам Большой зал, который позже перестроил Воронихин, не разрушив растреллиевского характера, и парадный вестибюль. С 1756 года дворцом владел сын барона, Александр Строганов, и при нём дом превратился в собрание. В 1787 году граф начал перестройки, а Воронихин создал вестибюль, лестницу с дорическими колоннами и Минеральный кабинет с куполом и обходной галереей — там граф держал минералогическую коллекцию и книги по горному делу.
Ещё один кабинет, Физический, Воронихин устроил в египетском стиле. Считается, что он служил хозяину и алхимической лабораторией, и масонским храмом: Строганов состоял в парижской ложе «Девяти сестёр». Картинную галерею вдоль Мойки устраивал Демерцов, завершал Воронихин; в залах занимались ученики Академии художеств. Накануне смерти, в 1811 году, граф попросил перенести его в галерею — умереть среди собранных им картин.
После революции дом национализировали, в 1919 году в парадных залах открыли музей, а в 1929-м закрыли. В 1931 году на берлинском аукционе распродавали вывезенные отсюда вещи — 108 картин. Потом в здании размещался Институт растениеводства, затем военное ведомство; интерьеры пострадали, а фасад в 1935 году перекрасили в зелёно-белый.
Решение передать дворец Русскому музею приняли 4 апреля 1988 года. Реставрация началась в 1991-м, первые залы открыли в 1995-м, официальное открытие состоялось в 2003 году. К 2012 году неотреставрированной оставалась одна комната парадного этажа — Библиотека; из-за прекращения финансирования работы встали в 2014 году. Так дом и живёт слоями — барокко Растрелли, классицизм Воронихина и музейная тишина поверх всего.