В середине XVIII века участок с существующим строением входил в состав усадьбы князя Михаила Сергеевича Львова. В 1760 году владелец изменился. На плане участка зафиксирована деревянная застройка. Во время пожара 1812 года усадьба сгорела, на ее месте со временем был возведен главный жилой дом, парадный фасад которого был обращен в Гагаринский переулок. В 1855 году новой владелицей становится Анна Павловна Завадовская. На месте разобранных служб по красной линии Малого Власьевского переулка строится деревянный, на каменном фундаменте, одноэтажный с подвалом дом с фасадами в стиле эклектики (современный дом 4, стр. 1 в Малом Власьевском переулке), а также деревянные хозяйственные постройки. В 1869 году владение было разделено на два участка, и объем, о котором идет речь, входил в состав участка, принадлежавшего Екатерине Николаевне Бологовской. В 1911 году владение отошло надворному советнику Ивану Ивановичу Сергееву. По проекту архитектора А.А. Фелькнера главный дом усадьбы был расширен с южной стороны каменной двухэтажной пристройкой с подвалом. Тогда же изменились композиция и декор главного фасада и отделка интерьеров. По фронту застройки Малого Власьевского переулка были установлены кованые ворота.

Планировочная структура дома с 1860 года и до пристройки 1911 года по проекту архитектора М.А. Фелькнера не менялась. Это небольшая анфилада компактных по площади комнат с деревянной лестницей в коридоре при входе на низкий антресольный этаж. Главный вход в дом осуществлялся со двора через тамбур. Подчеркнуто лаконичные по цветовой гамме фасады особняка были решены в духе раннего модерна с элементами неоклассицизма. Интерьеры репрезентативных залов и парадной лестницы имели каждый ярко выраженный стилевой акцент — Готический зал, Сиреневая, Голубая и Неогреческая гостиные и т.д.

Многочисленные протечки и несистемные ремонты со временем привели здание в полуаварийное состояние.

В 2011 в доме начались реставрационные работы. По результатам проведенных комплексных научно-исследовательских работ были сделаны выводы о всех изменениях в планировке памятника, периодах и характере отделки помещений; состоянии конструкции здания и исторической колористике фасадов и интерьеров.

Были проведены укрепление с частичной заменой материалов в аварийных участках всех каменных конструкций здания; научная реставрация деревянного сруба и всех деревянных конструкций, фасадов и их деталей. Восстановлены кровля, слуховые окна, металлические козырьки над входами, ограда. Фасадам возращено декоративное и колористическое решение 1911 года. Восстановлены парадный вестибюль и лестничный объем со стенами, отделанными искусственным мрамором.

В ходе научной реставрации комнаты парадной анфилады приобрели подлинную колористическую гамму начала XX века. Сохранялись и восстанавливались также такие исторически ценные элементы интерьера, как камины, лепной декор, альфрейная роспись и декоративный фриз стен, кессонированный потолок и т.д.
Открытие объекта после реставрации состоялось 1 июля 2015 года.

Дом в 2015 году стал лауреатом конкурса Московская реставрация в номинациях": "За лучший проект реставрации." и "За лучшую организацию ремонтно-реставрационных работ."