Владение в Хомутовском тупике с начала ХIX в. принадлежало князю А.В. Урусову, построившему в глубине участка каменный особняк, переживший пожар 1812 г. В 1840-х дом принадлежал графу Федору Ивановичу Толстому-Американцу, затем, в начале 1850-х, Ивану Федоровичу Мамонтову. По воспоминаниям современников, старый дом был одноэтажный, с палисадом перед домом.

В 1854 г. владение приобретает московский предприниматель и известный коллекционер древних рукописей и старопечатных книг Алексей Иванович Хлудов. При нем старый особняк был снесен и в 1864 г. выстроен новый, куда Алексей Иванович переезжает вместе с семьей. Это владение на долгое время дало имя переулку – до конца XIX века он назывался Хлудовским.

Новый дом А.И. Хлудова был трехэтажным, по фасаду - два этажа. Роскошные комнаты с лепными и мраморными облицовками (зала, гостиная, парадная), однако, по словам внучки Хлудова Веры Кулаковой, для жилья совсем неудобные. Внизу, в особой несгораемой комнате, у главного входа в дом налево, находилась знаменитая хлудовская библиотека – уникальное собрание древних книг и рукописей, включавшее знаменитую Хлудовскую Псалтырь - уникальную греческую Псалтырь IX века, украшенную миниатюрами. Потолок библиотеки был расписан в русском стиле по эскизам В. Васнецова, библиотекарем служил Василий Васильевич, выведенный Мельниковым-Печерским в романе «В лесах» под именем Василия Борисовича, доступ же к собранию открывался всем исследователям, интересующимся старинными книгами и рукописями.

При доме был обширный сад, поэтому многочисленная семья А.И. Хлудова летом на дачу не выезжала. В саду имелись грунтовой сарай и беседки, одна из которых была выстроена как павильон-дача, с паркетным полом, в который ввернули железное кольцо. Сын Алексея Ивановича Михаил Алексеевич Хлудов, знаменитый своей эксцентричностью, оставаясь ночевать в беседке, привязывал к этому кольцу своего ручного тигра.

В этом доме в Хлудовском тупике прошло детство Варвары Алексеевны Хлудовой (в замужестве Морозовой) – известной московской предпринимательницы и благотворительницы, потомственной почетной гражданки Москвы.

После смерти Алексея Ивановича Хлудова дом перешел к его сыну Василию. Василий Алексеевич Хлудов – энциклопедически образованный человек, окончил гейдельбергский университет, был весьма одарен музыкально. При нем дом стал своеобразным музыкальным салоном, здесь привечали профессоров консерватории – Гедике, Корещенко и др., композитора С.И. Танеева, Д. С. Мережковского, В. С. Соловьёва и других известных людей, часто устраивались музыкальные вечера. Сам Василий Алексеевич купил и установил в доме большой церковный орган, на котором исполнял органные сочинения Баха. Все дети Василия Хлудова – четыре сына и дочь – также были очень музыкальны, поэтому музыка в доме не прекращалась.

Слева по фасаду Василий Алексеевич пристроил зимний сад с гротами, фонтанами и множеством тропических растений. В нем жили попугаи и колибри.

После смерти В.А. Хлудова в доме находилась женская гимназия Л.Н. Валицкой.

Верхний этаж был надстроен в 1950-х гг.