С начала XVIII века до его середины палаты принадлежали графу И.П. Толстому, затем капитан-поручику Измайловского полка П. Хлопову. Скорее всего, он и предпринял коренную перестройку палат в начале ХIХ века, при которой они приняли нынешний вид. Парадная анфилада комнат получила прекрасную темперную роспись потолков, сохранившуюся до сих пор. От Хлоповых дом перешел к генерал-майору Н. Ермолову, дяде знаменитого полководца А. Ермолова. Он участвовал во многих сражениях русско-турецкой и русско-шведской войн в конце XVIII века.
Прославил дом его последний жилец. Сюда был вынужден переехать со своей семьей и мебелью в 1921 году известный режиссер К. Станиславский, выселенный из своего дома на Б. Каретной. Последние 17 лет жизни, до 1938 года, он жил и работал в этом доме. В 1948 г. стараниями дочери Станиславского Киры в доме был создан мемориальный музей. Экспозиция включает жилые комнаты Станиславского и его жены, артистки МХАТ М. Лилиной, "Онегинский зал", "Синее фойе" и другие помещения. Постоянно экспонируется выставка историко-театральных коллекций Станиславского: предметы старины, мебель, книги, сценические костюмы, театральные реликвии, фотоснимки.
Реставрационные работы в доме начались в 2011 году. В 2015 году объект стал лауреатом конкурса Правительства Москвы на лучший проект в области сохранения и популяризации объектов культурного наследия "Московская реставрация" в номинации: "За лучший проект реставрации объекта культурного наследия".