Первоначально дом принадлежал статской советнице Анне Семёновне Олениной, матери известного государственного деятеля Алексея Оленина. Дом был построен в XVIII веке и тогда представлял собой характерный для того времени особняк, стоящий торцом к улице. Вход в дом был со стороны обширного сада, занимавшего значительную часть территории.
После пожара 1812 года наследники Анны Олениной продали усадьбу. С конца XIX века дом принадлежал известному издателю Владимиру Думнову. Думнов приобрёл дом в 1894 году и поручил архитектору Петру Самарину перестроить здание в стиле неоклассицизма. Главный вход был перемещён в торец здания, а фасад украсил портик с четырьмя полуколоннами коринфского ордера. Этот декор придал зданию торжественный и величественный вид, символизируя статус нового владельца.
На протяжении своей истории дом принимал в своих стенах множество известных личностей. В начале XIX века здесь жил писатель Иван Сергеевич Тургенев, а в 1840-х годах — декабрист Захар Чернышев. В 1873 году дом стал принадлежать другу и ученику Петра Ильича Чайковского — Владимиру Шиловскому. Сам Чайковский неоднократно бывал в этом доме, что делает его значимым объектом для истории русской культуры.
Положение дома – торцом на улицу – выдает его старинное происхождение. Под декором конца XIX века скрывается особняк века XVIII. Он тогда принадлежал статской советнице Анне Семеновне Олениной, матери знаменитого государственного деятеля Алексея Николаевича Оленина, который в детстве тут живал. Вход в особняк был со стороны обширного сада, который занимал тогда почти два теперешних владения. После пожара 1812 года наследники Анны Олениной дом продали.
Коренным образом дом преобразился в конце XIX века, когда его купил Владимир Думнов. Он был владельцем известного в Москве издательства, выпускавшего в основном учебники для начальной и средней школ. Созданное в 1828 г. братьями Иваном Григорьевичем и Афанасием Григорьевичем Салаевыми, оно выпускало учебно-педагогическую литературу и русских классиков, прежде всего И.С. Тургенева. В 1879 г. издательство и книжную торговлю наследовали племянницы Федора Ивановича Салаева, одна из которых вышла замуж за В.В. Думнова, ставшего в 1885 г. руководителем фирмы "Наследники братьев Салаевых". Издательство в 1926 г. слилось с издательством «Работник просвещения».
В 1894 году архитектор П.М. Самарин перестроил старый дом, купленный Думновым. Главный вход в дом перенесли в торец с М. Кисловского переулка. Торец декорирован в стиле неоклассики портиком, поддерживаемым четырьмя полуколоннами на муфтированном основании с коринфскими капителями. Они расположены по краям фасада и между окнами и оригинально сочетаются с небольшими полуколонками ионического ордера, фланкирующими большие окна фасада. С полукруглых арочних ниш окон на прохожих взирают дамы из эпохи барокко. Во фронтоне композиция, напоминающая герб: щит в лапах у львов. На щите инициалы владельца «ВД»: Владимир Думнов.
После 1914 г. дом был переоборудован для издательства «Искусство».
В середине 1960-х в этом доме находилась резиденция посла Японии. В 2013-14 годах прошла его реконструкция, и теперь его занимает посол Швейцарии в России.
