В 1766 году будущий участок Консерватории купила княгиня Екатерина Романовна Дашкова (1743-1810), впоследствии — президент Академии наук и Российской академии. Строительство дома было окончено в 1790-е годы. Его автором был В.И. Баженов, проект которого корректировала сама хозяйка.
В 1810 году здание унаследовал племянник, граф М.С. Воронцов, герой войны, участник Бородинского сражения, в будущем губернатор Новороссии и Бессарабии, наместник Кавказа. Он сдавал дом в аренду. В 1812 году дом горел, восстановлен к 1824 году.
В 1871 году дом арендовала Московская Консерватория (основана в 1866 году). В 1878 году она купила дом Дашковой за 185 000 рублей.
К 1894 году директору Консерватории, профессору В.И. Сафонову, удалось собрать необходимые для строительства нового здания деньги, и стройка началась. Благодаря деятельности директора строительство стало делом общенародным.
В 2012-2013 годах в консерватории были проведены противоаварийные и реставрационные работы с приспособлением здания с целью улучшения акустических параметров находящегося в этом корпусе "Белого зала" и изменением функций отдельных помещений.
В 2013 году здание Московской консерватории стало лауреатом конкурса Правительства Москвы на лучший проект в области сохранения и популяризации объектов культурного наследия "Московская реставрация" в номинации: "За лучшую организацию ремонтно-реставрационных работ".