Дом №24 по Б. Харитоньевскому переулку строился в несколько этапов.

Его центральная часть – двухэтажный усадебный дом с пилястровым портиком, увенчанным треугольным фронтоном, который был построен в конце XVIII века для коллежского асессора Х. Христиана. В 1801 году владение было куплено князем Николаем Борисовичем Юсуповым, чья огромная усадьба располагалась на противоположной стороне переулка (нынешний дом 21 стр. 4). Помимо усадебного дома Юсупов приобрел и обширный сад, занимавший большую часть квартала и выходивший задней свой границей в соседний Фурманный переулок.

Считается, что в купленном доме разместился знаменитый крепостной театр князя Юсупова, снискавший славу одного из лучших театров Москвы и уступавший разве что крепостному театру графов Шереметевых. Впрочем, чаще всего представления Юсуповского театра проходили все-таки в подмосковной усадьбе Архангельское, купленной князем Николаем Борисовичем в начале XIX века. Там в 1818 году было построено специальное театральное здания по проекту архитектора и художника Пьетро Гонзаго при участии архитектора О.И. Бове.

Юсупов сад, располагавшийся за бывшим усадебным домом, был излюбленным местом для прогулок москвичей – князь Юсупов сделал свой сад общедоступным, сюда допускались все люди «приличного звания», без ограничений. Сад имел регулярную планировку, по моде французских садов, в центре его был устроен круглый пруд, к которому спускались две лестницы. Недалеко от пруда был сооружен грот – искусственная руина, неотъемлемый элемент романтического сада или парка. В саду были построены летние беседки, аллеи и дорожки сада были обсажены кустарником или цветами; также сад украшали мраморные статуи, привезенные Юсуповым, вероятно, из Италии. Вход в сад был устроен со стороны Б. Харитоньевского переулка, через парадные ворота.

Известно, что в сад водили гулять маленького А.С. Пушкина, чья семья снимала квартиру в усадьбе Юсупова в 1801-1803 гг. Есть предположение, что отец поэта, Сергей Львович Пушкин, известный своим талантом к постановке любительских спектаклей, мог быть привлечен к работе в Юсуповском театре.

В пожаре 1812 года и здание театра, и Юсупов сад сгорели. По всей видимости, сад был восстановлен, но уже не в том великолепном виде. Сюда по-прежнему ходили гулять москвичи, зимой здесь устраивались ледяные катальные горы.

В середине 1820-х гг. к дому, восстановленному после пожара, были сделаны две пристройки – двухэтажная слева и трехэтажная справа. Трехэтажная пристройка, соединенная с домом каменным переходом, предназначалась для размещения здесь Юсуповской картинной галереи (в сводчатых залах) и библиотеки. Пристройки были выполнены по проекту архитекторов Е.Д. Тюрина и В.Г. Дрегалова.

В 1836 году Юсуповы продали владение в казну для размещения здесь городского Работного дома. В Работный дом помещались (по собственному желанию или принудительно) нищие, бродяги, попрошайки, которые здесь обеспечивались ночлегом, едой, а также работой, главным образом неквалифицированной. Московский Работный дом просуществовал до 1917 года и был упразднен большевиками.

Недавно здание было отреставрировано. Сейчас здесь размещается Институт законодательства и сравнительного правоведения при Правительстве РФ.