В 1832 году для купца Селиверстова на углу Поварской улицы и Малого Ржевского переулка был построен одноэтажный дом с подвалом. Здание является ярким примером застройки Москвы после пожара 1812 года.

В 1838 году вплотную к существующему дому для генерал-майора К.П.Офросимова пристроен одноэтажный особняк, выполненный в стиле ампир.

Следующим владельцем генеральского особняка стала его племянница Бухвостова.
В середине XIX столетия все владения на углу Поварской улицы и Малого Ржевского переулка перешли в собственность семьи Охотниковых.

Следующим хозяином владения стал граф, дипломат и государственный деятель Павел Андреевич Шувалов.

С 1904 года в доме Шувалова размещался санаторий для больных, страдающих внутренними и нервными заболеваниями. Это лечебное учреждение организовал врач Федор Александрович Гриневский, приходившийся троюродным братом Александра Грина, автора бессмертной повести «Алые паруса».

В советское время, в 1950-е годы, владение Охотникова-Шуваловых было передано Государственному музыкально-педагогическому институту имени Гнесиных.

В 1989 году в доме открыли камерный концертный зал «Музыкальная гостиная в доме Шуваловых».

В 1892 году по заказу В.Н. Охотникова дом на Поварской перестроен по проекту архитектора Александра Каминского. Строение было выполнено в стиле эклектики. В процессе строительных работ был частично сохранен бывший дом Офросимова (планировка, декоративное оформление парадного фасада, а также сводчатые подвалы).

Главный акцент в архитектурно-художественном оформлении здания архитектор Каминский придал угловой части постройки, представив ее в виде своеобразной башни с выполненным глухим первым этажом. Особое внимание было уделено хорошей прорисовке большинства деталей фасада здания.

В конце прошлого века в здании была проведена реконструкция с частичным сохранением былого внутреннего декора: лепнины, мраморной лестницы и настенной росписи.