Дом № 24 в Большом Афанасьевском переулке, известный как палаты Зиновьевых-Юсуповых, является одним из старейших сохранившихся жилых зданий Москвы. Палаты, построенные в 1680–1690-х годах по заказу стольника П. П. Зиновьева, представляют собой уникальный пример древнерусского зодчества. Строительство началось после получения Зиновьевым ссуды на возведение каменных зданий, и именно этим периодом датируются основные объёмы палат.
С момента постройки и до середины XVIII века дом принадлежал роду Зиновьевых. В 1774 году Ирина Михайловна Юсупова, урождённая Зиновьева, продала усадьбу графу Андрею Ивановичу Толстому. Позже дом неоднократно переходил из рук в руки, а в период между 1776 и 1782 годами два каменных корпуса были объединены и перестроены в одно здание.
Пожар 1812 года нанёс значительный ущерб усадьбе. Она была частично восстановлена, но подверглась дальнейшим перестройкам. В XIX веке дом был преобразован в ампирный особняк с мезонином, а в 1860-е годы декор фасадов изменили в стиле модной тогда эклектики. В конце XIX века дом был надстроен третьим этажом, что полностью изменило его первоначальный облик.
Здание связано с именами многих известных личностей. Среди владельцев был прадед Льва Толстого — граф Андрей Иванович Толстой. Последним владельцем дома был Александр Андреевич Берс, брат Софьи Андреевны, жены Льва Толстого. После 1917 г. в здании разместилось жилищное товарищество. Долгое время здание стояло без крыши, стены были открыты и находились в почти разрушенном состоянии.
