В конце XVII века здесь располагалось обширное владение, принадлежавшее деду Петра I Кириллу Полуэктовичу Нарышкину. От него оно перешло к сыну Льву Кирилловичу, а затем к его детям. В середине XVIII века, женившись на Е.И. Нарышкиной, владельцем становится Кирилл Григорьевич Разумовский. Их дети в 1800 году делят усадьбу на несколько участков. Из планов видно, что тогда усадьба развивается, строятся избы, появляются теплицы, где выращиваются редкие овощи и фрукты. После женитьбы на Разумовской усадьбой владеет Сергей Семенович Уваров – президент Академии наук и министр народного образования
В 1860-е годы владельцем становится Алексей Сергеевич Уваров – основатель Московского археологического общества, один из учредителей Исторического музея. В 1874 году он распродает свое имение по частям. Часть земель приобрели Иваненко, которые поделили территорию на девять участков и тут же выставили их на продажу. Шесть участков в 1887 году купил архитектор Роман Иванович Клейн, три тотчас же продал бывшему крестьянину Владимирской губернии А. А. Пантелееву, подрядчику каменных и строительных работ (для которого Клейн в 1896 и 1897 годах возведет здесь два доходных дома), а три объединил в единое владение. В 1889 году Роман Иванович выстроил деревянный дом (ныне стр. 2) на каменном фундаменте с мезонином и полуподвалом для котла водяного отопления. В 1896 году часть дома надстраивается вторым этажом и тут размещается архитектурная мастерская и библиотека. Дом принадлежал Клейну вплоть до 1918 года.
В 1900-м по красной линии Олсуфьевского переулка Р.И. Клейн выстраивает трехэтажный доходный дом (стр. 1) и два здания для служб (стр. 3). Большую часть занимает сад, куда выходит особняк владельца. Планировка и застройка сохранялись в неизменном виде вплоть до 1950-х годов, когда доходный дом надстроили еще одним этажом.
В 1990-х годах собственный дом архитектора реставрировался, правда, больше это было похоже на реконструкцию с приспособлением. Частично был изменен первоначальный объем, под домом появилась подвальная часть с сильным заглублением, одноэтажная часть здания, где размещался парадный вход, стала двухэтажной, часть окон заложили, а кровлю приподняли. Кроме того, дом обрел мансарду, которой никогда не имел.
Ныне в доме располагается музей «Наша эпоха».
