До конца XIX века этим участком владели различные хозяева, здесь стояли деревянные постройки.
Летом 1898 года землю выкупила М.И. Витте, жена одного из известнейших политических деятелей царской России Сергея Юльевича Витте. Сюда он переехал в 1903 году из квартиры на наб. р. Мойки (дом № 45) после отставки с поста министра финансов с назначением на пост председателя Комитета министров. В 1904 году работы над особняком были закончены уже для семьи чиновника.
С 1907 года начались покушения на С.Ю. Витте со стороны черносотенной организации «Союз русского народа». 29 января 1907 года в дымовые трубы особняка активисты этой организации спустили две бомбы. Но снаряды на сработали. Четыре месяца спустя попытку покушения повторили, вновь неудачно.
26 февраля 1915 года С.Ю. Витте скончался в своём доме из-за болезни.
После революции в особняке работали профилактическая амбулатория и дневной детский санаторий.
14 февраля 1927 года здесь разместился НИИ по охране здоровья детей и подростков.
С 1935 года сюда перевели детскую музыкальную школу. Именно эту школу окончил известный скрипач и дирижёр В.Т. Спиваков.
23 июня 1999 года на фасаде особняка установлена мемориальная доска: «Здесь с 1899 по 1915 год жил выдающийся деятель России Сергей Юльевич Витте».
Хочу немного остановиться на выдающемся вкладе Витте в историю России. Уже одного того, что именно благодаря ему рубль стал (единственный раз в истории!!!) конвертируемой валютой - достаточно. Но помимо этого (выписка из энциклопедии): он повысил рентабельность промышленности и транспорта, благодаря чему Россия по основным экономическим показателям заняла пятое место в мировом промышленном производстве, хотя и значительно отставала от передовых стран по душевому потреблению. Стремясь избавиться от бюджетного дефицита, Витте увеличил прямые и косвенные налоги, введя винную монополию, давшую четверть доходов казны. Возглавляя в 1902 - 1905 Особое совещание о нуждах с.-х. промышленности, Витте разработал аграрную программу, в основных чертах (создание крестьян-собственников, разрушение общины, продажа крестьянам казенных, удельных и части помещичьих земель, уравнение в гражданских правах) взятую для проведения в жизнь П.А. Столыпиным. Во внешней политике Витте был против авантюристического курса Николая II на Дальнем Востоке, приведшего к войне с Японией. Во время рев. 1905 - 1907 Витте сыграл исключительную роль для сохранения монархии. Он возглавил мирную делегацию в Портсмут (США) и сумел добиться выдающегося дипломатического успеха при заключении в 1905 Портсмутского мирного договора, за что ему был пожалован титул графа. Получив мир и возможность сосредоточиться на внутренних проблемах, Витте представил царю записку, где обосновал нецелесообразность военной диктатуры и необходимость мирного разрешения создавшегося кризиса. По инициативе назначенного премьер-министром Витте Николай II подписал Манифест 17 октября 1905 о даровании "незыблемых основ гражданской свободы" - где впервые в России были провозглашены гражданские и политические свободы.