Усадьба на Фонтанке известна и под вторым именем — Фонтанный дом. Название пошло от реки, хотя в перечне охраняемых объектов усадьбы числятся даже фундаменты фонтана, засыпанного ещё в восемнадцатом веке. Участок в 1712 году пожаловал фельдмаршалу Борису Шереметеву царь — с условием построить здесь «хоромное дворовое строение». До революции усадьбой владели 5 поколений графской ветви рода.
Сначала это было загородное имение с садом: городской дом Шереметевых стоял на Васильевском острове. В 1730-е годы в усадьбе вырыли большой пруд, а грунт из него пошёл на подсыпку проезжей части Литейного проспекта. В конце 1730-х — начале 1740-х для Петра Шереметева поднялся одноэтажный дворец, а в начале 1750-х его надстроили вторым этажом по проекту Саввы Чевакинского и крепостного архитектора Фёдора Аргунова. У подъезда в 1759 году поставили 2 деревянные позолоченные фигуры коней работы Иоганна Дункера.
Николай Петрович Шереметев поселился здесь в 1796 году и завёл в доме крепостной театр и оркестр; интерьеры обновляли Старов, Кваренги и Воронихин. В Фонтанном доме шли музыкальные вечера, на которых играли Глинка, Берлиоз и Лист, пели Виардо и Рубини. В 1821 году появился флигель по Фонтанке, где поселили хористов шереметевской капеллы, выросшей из крепостного хора отца Николая Петровича.
В 1827 году в одной из комнат дворца, нынешнем Аванзале, работал Орест Кипренский: здесь он написал портрет Пушкина, тот самый, с пледом через плечо. Портрет заказал Дмитрий Шереметев — в его полку гостеприимство графа называли «жизнью на шереметевский счёт». Сейчас портрет хранится в Третьяковской галерее.
В 1838 году усадьбу отделила от улицы чугунная ограда с воротами и гербом Шереметевых; в 1867-м к дворцу пристроили северный флигель, а в 1908-м манеж и конюшни переделали в Театральный зал — теперь это Драматический театр на Литейном. После революции в доме открыли Музей дворянского быта и быта крепостных; он продержался до 1931 года, но коллекцию распылили по другим музеям.
В 1935-м в правом флигеле заработал Дом занимательной науки Якова Перельмана — его закрыли в 1941-м. Потом до 1989 года большую часть здания занимал Институт Арктики и Антарктики. С 1990 года во дворце снова музей — Музей музыки, филиал Музея театрального и музыкального искусства; инструменты разных стран и эпох стоят в парадной анфиладе второго этажа. Дом, где когда-то держали собственный оркестр, теперь хранит чужие инструменты.
