Участок, на котором стоит дворец, пожалован в 1712 году царем Петром I фельдмаршалу графу Борису Петровичу Шереметеву. В середине 1710-х годов граф построил здесь мазанковый дом. В конце 1730-х — начале 1740-х годов на его месте сооружен обширный каменный одноэтажный дворец на невысоком цокольном этаже.
В 1750—1755 годах сын графа Петр Борисович Шереметев перестроил здание. По проекту архитектора С.И. Чевакинского дом был надстроен вторым этажом при сохранении наружных и внутренних стен. Здание было обильно украшено лепниной; плафоны в парадной анфиладе расписал художник Легрен. Постройка приобрела барочную стилистику.
Расположенный в глубине участка, дворец обращен главным фасадом к реке. За ним и его флигелями находился регулярный сад, простиравшийся до «Литейной перспективы». Архитектор Ф.С. Аргунов возвел в саду грот, павильон «Эрмитаж», китайскую беседку и другие сооружения, не дошедшие до нашего времени.
В комплекс дворца с самого начала входили и двухэтажные жилые корпуса. В 1867 году Н. Л. Бенуа построил еще один флигель с воротами вдоль боковой границы небольшого сада, разбитого перед дворцом. Этой постройке придан облик, характерный для середины XVIII столетия. Автор искусно воспроизвел мотивы и формы архитектуры барокко.
Усадьба графов Шереметьевых вошла в историю не только российского зодчества: это – уникальный памятник русской культуры.
В Фонтанном доме жила прославленная русская актриса Прасковья Ковалева-Жемчугова. Бывшая крепостная из подмосковной усадьбы Шереметевых Кусково, Ковалева-Жемчугова выступала в знаменитом Останкинском театре. В 1801 году граф Николай Петрович Шереметев, крупнейший театральный деятель конца XVIII столетия, обвенчался с ней, и крепостная актриса стала графиней Шереметьевой. Она умерла в Фонтанном доме от чахотки через три недели после рождения сына – Дмитрия, наследника дворца и всего состояния Шереметевых. Его воспитанием занималась Т.В. Шлыкова-Гранатова, выдающаяся балерина крепостного Останкинского театра.
Уже с конца XVIII в. дворец становится центром театральной и музыкальной жизни Петербурга. С середины ХVIII века до 1870-х годов в Фонтанном доме находилась и выступала знаменитая «капелла Шереметевых» – один из лучших частных хоров в России. Этим замечательным коллективом восторгались М.И. Глинка, Ф. Лист, Г. Берлиоз.
На Фонтанке у Шереметевых бывали В.А. Жуковский, А.С. Пушкин, М.И. Глинка, М.А. Балакирев, А.Н. Серов, О.А. Кипренский и многие другие поэты, композиторы и художники.
Широко известный портрет А.С. Пушкина, о котором он писал: «Себя как в зеркале я вижу...». Портрет написан в 1827 году в Фонтанном доме О.А. Кипренским, где у него была мастерская, и где Александр Сергеевич позировал художнику.
Поскольку сегодня день рождения Александра Сергеевича, я позволю себе вставить сюда этот знаменитый портрет.
Во второй половине XIX столетия во дворце размещалось Общество любителей древней письменности, проходили заседания Русского генеалогического общества и Археографической комиссии. Членом этих научных сообществ состоял историк граф Сергей Дмитриевич Шереметев.
В 1918 году последний владелец С.Д. Шереметев передал здание со всеми художественными коллекциями советским властям. Здесь разместился Музей быта. В 1929 году музей был ликвидирован, церковь разорена и уничтожена. Длительное время здание поочередно занимали различные учреждения и научные институты.
Дворец Шереметевых вошел в биографию великой поэтессы Анны Андреевны Ахматовой. В южном дворовом флигеле она жила в 1924-1941 и 1944-1952 годах. Здесь ею написаны многие стихотворения и литературоведческие статьи. На некоторых стихах помета, что они написаны в Фонтанном доме. В 1989 году в бывших комнатах Ахматовой открыт мемориальный музей.
В 1990 году здание было передано Государственному музею театрального и музыкального искусства. Тогда же началась последовательная реставрация уникального памятника отечественной культуры.