Еще в начале XIX века дом на Большой Дмитровке стал числиться за семьей московского купца Ивана Афанасьевича Живаго. Семья Живаго будет владеть этим домом вплоть до революции 1917 года.

Фамилия Живаго была одной из хорошо известных купеческих фамилий Москвы и Рязани. В 1820 году два брата Живаго – Сергий и Иван - перебрались в Москву.

Самым известным представителем рода Живаго в Москве был именно Сергий Афанасьевич, учредитель Рязанского Коммерческого банка, владелец магазина офицерских товаров в Успенском переулке. С его именем связана церковь Успения на Успенском Вражке, за перестройку которой он был награжден золотой медалью. Его брат, Иван Афанасьевич владел домом на углу Большой Дмитровки и Дмитровского переулка, известным с 1830-х годов. Сводчатые подвалы этого здания сохранились до наших дней. Посетители кафе «ПирОГИ», открывшегося здесь в 1990-х, смогли увидеть эти подвалы.

В 1884 году по проекту архитектора С.С. Эйбушитца для купцов Живаго строится доходный дом оформивший угол улицы и переулка: трехэтажное здание в стиле неоклассики с полукруглым углом и козырьком, украшенным вензелем владельцев. Рустованные стены и изящное классическое оформление окон гармонично вписывали здание в ряд доходных домов Большой Дмитровки. Проездная арка открывала проезд внутрь двора со стороны Дмитровского переулка. На первом этаже размещались магазины, два верхних этажа сдавались внаем.

С 1901 года и до Октябрьской революции в доме жил Александр Васильевич Живаго, внук Ивана Афанасьевича, врач Голицынской больницы и член Русского фотографического общества. Коллекционер древнеегипетских раритетов, с 1910 по 1917 годы он собрал невероятную коллекцию, которая выставлялась в его доме на Дмитровке и в настоящее время хранится в ГМИИ им. А.С. Пушкина вместе с его библиотекой, насчитывающей более 6 тысяч томов, в том числе роскошных изданий по искусству, ценных научных изданий по египтологии, истории, медицине. После революции Александр Васильевич служил ученым секретарем Музея изящных искусств (ныне ГМИИ им. А.С. Пушкина) в Москве, а с 1923 года он стал лектором – руководителем отдела классического востока. Зная немецкий, французский, греческий и латинский языки, обладая энциклопедическими знаниями и артистическими способностями, Живаго проводил экскурсии по музею, восхищавшие профессионалов – востоковедов. Надо отметить, что доктор не имеет отношения к знаменитому роману Бориса Пастернака. Выбор фамилии в романе случаен, писатель просто «наткнулся на круглую чугунную плитку с «автографом» фабриканта».

Сейчас здание надстроено четвертым этажом, и, к сожалению, утеряло вензель купцов Живаго.