Старый особняк Федора Васильевича Вишневского на Новой Басманной улице в начале 1880-х годов был приобретен Алексеем Ивановичем Хлудовым, известным купцом для старшего сына Василия. Старый дом появился ранее 1839 г., когда он первый раз был обозначен на плане участка титулярного советника К. О. Геништы.

Василий Алексеевич Хлудов (1841-1913) закончил Петропавловское училище в Москве, два факультета Московского университета - естественный и медицинский, в течение двух лет слушал курс лекций по химии в Гейдельбергском университете. В отличие от отца сумевшего построить четыре текстильные фабрики и нажившего миллионные капиталы, Василий Алексеевич, блестяще образованный, в делах постоянно терпел неудачи. Он все время увлекался какими-то фантастическими проектами, отношения с отцом у него были очень натянутые и после смерти родителя он не получил доли в семейных фабриках, а только капитал и доходные дома на Ильинке. Часть наследства он использовал для того, чтобы купить земли в поселке Сочи. Именно он сделал из этого поселка модный и красивый курорт. Женился Василий Алексеевич на Нине Флорентьевне Перловой, из рода чаеторговцев Перловых. У них было четыре сына и дочь. Это единственный представитель семьи Хлудовых, имевший мужское потомство. Все дети были музыкальны, но Нина Флорентьевна настояла, чтобы дети получили хорошее инженерное образование.

В 1882 году Василий полностью перестраивает старый особняк. Для этого он приглашает молодого архитектора Романа Клейна, для которого это был чуть ли не первый крупный заказ. Двухэтажный особняк имел сложную внутреннюю композицию помещений, соединяя как бы два дома, стоящие с отступом друг от друга. Самое большое помещение предназначалось для залы, где можно было проводить музыкальные вечера и концерты. Василий Алексеевич обожал музыку, он прекрасно играл на фортепиано, импровизировал на органе, выписанном им из Германии. Кстати, потом он отдал этот орган в Малый Зал Московской консерватории.

Свояк Василия Алексеевича Н. А. Варенцов вспоминает о нем так: «Василий Алексеевич был интереснейший человек, его энциклопедичность поражала; когда он был в ударе, то его речь, по какому бы ни было предмету, всегда отличалась яркостью и оригинальностью. Подбадриваемый собравшимся обществом лиц, ему симпатичных, он увлекал всех присутствующих, вечер за чайным столом проходил незаметно до глубокой ночи. В доме собиралось весьма разнообразное и разностороннее общество. Здесь бывали - основатель консерватории Николай Григорьевич Рубинштейн, композитор Сергей Иванович Танеев, критик Ларош, музыкант А. В. Соловцов, проф. Николай Егорович Жуковский, С. А. Муромцев, генерал Драгомиров, писатели - супруги Мережковские и Андрей Белый, врачи - профессора Шервинский, Бехтерев, Остроумов, Филатов и др. Было очевидно, что эти люди приходят к В. А. Хлудову не как к богатому меценату с целью получить от него какой-нибудь интерес материальный, но его общество доставляло им удовольствие, принося много любопытного и нового».

После смерти младшего брата Михаила, Василию достается родовой Хлудовский особняк в Хомутовском тупике и этот дом он продает купцу И.А. Кошелеву. В начале 20 века дом принадлежал Щаповой Марье Константиновне.

В конце 20-х и в 30-х годах в доме размещался латышский детский сад имени Карла Маркса вместе со школой-семилеткой его же имени. Особняк был надстроен еще тремя этажами, что полностью исказило его облик. Только овальные окна второго этажа, украшенные наличниками в византийском стиле, выдают творение великого архитектора. От прежней роскоши осталась красивая лестница с лепным раскрашенным декором и лепнина потолков в некоторых перегороженных залах.

Много лет дом занимает издательство "Художественная литература".