В первой половине и середине XVIII века владение, расположенное подле храма Трёх Святителей на Кулишках, в современном Хитровском переулке, принадлежало представителям дворянского рода Лопухиных, царским родственникам по первой жене Петра I.

При них и был построен, сохранившийся до наших дней, главный дом усадьбы. Первоначально возведённый в формах позднего барокко, он неоднократно перестраивался и к ХХ столетию практически полностью утратил декоративную обработку фасадов.

Во второй половине XVIII века усадьба принадлежала Волконским. И в 1792 году П. Л. Волконский продал своё владение московскому 2-й гильдии купцу Кадашевской слободы Афанасию Абрамовичу Кирьякову, имевшему торг в кружевном золотом ряду.

При Кирьяковых, на рубеже XVIII-XIX веков, по южной границе усадьбы был построен двухэтажный флигель в классическом стиле, сохранивший до наших дней детали декоративной отделки фасадов: белокаменные карнизы и сандрики, оконные обрамления, пилястры второго этажа. В этом флигеле 25 декабря 1871 года (6 января 1872 года по н. с.) в семье студента-юриста, а впоследствии дипломата, происходившего из старинного дворянского рода Николая Александровича Скрябина и пианистки Любови Петровны (урождённой Щетининой) родился будущий выдающийся русский пианист и композитор Александр Скрябин (1871-1915).

Одновременно с постройкой двухэтажного флигеля по северной границе владения был возведён не сохранившийся до нашего времени одноэтажный флигель. Разница в высоте строений скрадывалась значительным понижением рельефа к югу, в сторону будущей Хитровской площади. Оба флигеля были соединены красивой оградой с двумя полуциркульными портиками и главными въездными воротами. Эта ограда, к сожалению, также оказалась утраченной в конце 1940-х годов.

Во второй половине XIX века усадьбой владели купцы Бунины. При них строения усадьбы были превращены в ночлежные дома и различные мастерские. Вот что писал об этом владении В. А. Гиляровский: «Чище других был дом Бунина, куда вход был не с площади, а с переулка. Здесь жило много постоянных хитрованцев, существовавших подённой работой вроде колки дров и очистки снега, а женщины ходили на мытье полов, уборку, стирку как поденщицы. Здесь жили профессионалы-нищие и разные мастеровые, отрущобившиеся окончательно. Больше портные, их звали «раками», потому что они, голые, пропившие последнюю рубаху, из своих нор никогда и никуда не выходили.

Работали день и ночь, перешивая тряпье для базара, вечно с похмелья, в отрепьях, босые. А заработок часто бывал хороший. Вдруг в полночь вваливаются в «рачью» квартиру воры с узлами. Будят.

- Эй, вставай, ребята, на работу! - кричит разбуженный съемщик.

Из узлов вынимают дорогие шубы, лисьи ротонды и гору разного платья. Сейчас начинается кройка и шитье, а утром являются барышники и охапками несут на базар меховые шапки, жилеты, картузы, штаны. Полиция ищет шубы и ротонды, а их уже нет: вместо них - шапки и картузы».

В самом конце XIX столетия усадьба перешла к семье Ивановых. При них в 1901 году в глубине владения был построен доходный дом по проекту архитектора Э. С. Юдицкого (Хитровский переулок, д. 3/1, стр. 1). Юдицкий известен также постройкой знаменитого дома И. Пигита на Большой Садовой, 10 – дома «с нехорошей квартирой» из романа М. А. Булгакова «Мастер и Маргарита».

Последним дореволюционным владельцем этой усадьбы было Российское общество застрахования капиталов и доходов.

В советские годы практически во всех постройках усадьбы были устроены коммунальные квартиры, расселённые в 1970-е годы. Жилым остался только упомянутый выше дом 1901 года постройки. В наши дни двор владения - излюбленное кинематографистами место съёмок многочисленных фильмов.

Постройки усадьбы стоят на государственной охране, как объекты культурного наследия и исторически ценные градоформирующие объекты, а также входят в состав выявленного объекта культурного наследия «Достопримечательное место «Хитровка».