Часть территории, на которой в XV веке при великом князе Иване III была основана Пушечная изба, преобразованная после пожара в 1488 году в Московский Пушечный двор. Двор являлся центром литейного производства и подчинялся Пушкарскому приказу, который в 1670 году был переведён на эту территорию. Пушечный двор представлял собой обширное строение в виде конусообразной башни, обнесённой высокой стеной. После перевода в 1739 году Двора на новое место, здесь до 1795 года размещались военный склад и Московское артиллерийское депо. Пушечный двор был разобран в 1803—1804 годах, холм, на котором он располагался был срезан, а улица Рождественка, вобрав в себя Пушечный переулок, протянулась до «проезда подле Китайской стены» (современного Театрального проезда). В 1821—1823 годах участок был приобретён грузинскими цесаревичами Ираклием и Окропиром Георгиевичами, которые возвели на участке новые здания с домовой церковью Рождества Богородицы.

В конце 1870-х годов участок приобрёл почётный гражданин, текстильный фабрикант Г. И. Хлудов, по заказу которого архитекторами В. Г. Залесским и П. П. Скоморошенко строения были отремонтированы, осуществлены пристройки и надстройки.

Современное здание, выходящее главным фасадом на Театральный проезд, построено по заказу Хлудова в 1889 году по проекту архитектора С. С. Эйбушица (строение 2). В состав дома вошло здание грузинских цесаревичей. Фасад изначально четырёхэтажного дома (два верхних этажа надстроены позднее) эклектичен, решён архитектором с использованием форм классической и барочной архитектуры. 

В 1893 году Архитектор Л. Н. Кекушев на углу Рождественки с Театральным проездом построил для Хлудовых ещё одно здание (строение 1). Срезанный угол дома подчёркнут трёхгранным эркером, обрамлённым большим порталом на высоту пяти этажей. Верхний аттиковый этаж оформлен тонкими чёрными колоннами в простенках между окнами и завершён сильно вынесенным карнизом.

В 1934 году доходный дом был надстроен и получил новое оформление по проекту архитектора С. Е. Чернышёва. В 2001 году дом был вновь изменён по проекту архитектора М. М. Посохина. Несмотря на переделки, фасад здания сохраняет формы раннего московского модерна. Оба здания являются ценными градоформирующими объектами.

В советское время бани стали называться «Центральными» и продолжали работать вплоть до начала 1990-х годов. В 1934 году здание было надстроено двумя этажами.

После постройки в одном из дворовых корпусов разместились «Русско-китайские бани», также называемые по имени владельцев Хлудовскими. Цены Хлудовских бань начинались от 5 копеек в «простонародных банях» и доходили до 10 рублей за отдельный трёхкомнатный номер. Интерьеры бань были расписаны художником А. А. Томашко. 

В доходном доме Хлудовых в начале XX века размещались московское отделение «Русского общества Шуккерт и К», магазин торговой фирмы «Эмиль Бодло и К», книжный магазин букиниста И. Фадеева, кинематограф «Экспресс», ресторан «Ялта» и бар «Товарищества Трёхгорного пивного завода». Находившееся в доме Русское общество любителей фотографии посещали Н. Е. Жуковский, Н. А. Умов, Н. Д. Зелинский, А. П. Павлов. Со стороны Рождественки в доме размещалось Московское отделение Русского технического общества, при котором работал «Музей содействия труду». В обществе работали Л. А. Чугаев, Г. П. Передерий, К. К. Мазинг, В. Н. Образцов и другие. В доме жили: актриса Малого театра М. Ф. Андреева, архитекторы Л. Н. Кекушев, И. А. Иванов-Шиц, И. В. Жолтовский.

В 1924—1925 годах в доме начал работу Московский коммунальный музей — предшественник современного Музея истории Москвы, во главе которого стояли московеды П. В. Сытин и П. Н. Миллер. В доме 1с1 разместилось Министерство транспорта РФ. После закрытия бань, в их бывших помещениях разместились ресторан «Серебряный век» и трактир «Аркадия».