Положение дома – торцом на улицу – выдает его старинное происхождение. Под декором конца XIX века скрывается особняк века XVIII. Он тогда принадлежал статской советнице Анне Семеновне Олениной, матери знаменитого государственного деятеля Алексея Николаевича Оленина, который в детстве тут живал. Вход в особняк был со стороны обширного сада, который занимал тогда почти два теперешних владения. После пожара 1812 года наследники Анны Олениной дом продали.

Коренным образом дом преобразился в конце XIX века, когда его купил Владимир Думнов. Он был владельцем известного в Москве издательства, выпускавшего в основном учебники для начальной и средней школ. Созданное в 1828 г. братьями Иваном Григорьевичем и Афанасием Григорьевичем Салаевыми, оно выпускало учебно-педагогическую литературу и русских классиков, прежде всего И.С. Тургенева. В 1879 г. издательство и книжную торговлю наследовали племянницы Федора Ивановича Салаева, одна из которых вышла замуж за В.В. Думнова, ставшего в 1885 г. руководителем фирмы "Наследники братьев Салаевых". Издательство в 1926 г. слилось с издательством «Работник просвещения».

В 1894 году архитектор П.М. Самарин перестроил старый дом, купленный Думновым. Главный вход в дом перенесли в торец с М. Кисловского переулка. Торец декорирован в стиле неоклассики портиком, поддерживаемым четырьмя полуколоннами на муфтированном основании с коринфскими капителями. Они расположены по краям фасада и между окнами и оригинально сочетаются с небольшими полуколонками ионического ордера, фланкирующими большие окна фасада. С полукруглых арочних ниш окон на прохожих взирают дамы из эпохи барокко. Во фронтоне композиция, напоминающая герб: щит в лапах у львов. На щите инициалы владельца «ВД»: Владимир Думнов.

После 1914 г. дом был переоборудован для издательства «Искусство».

В середине 1960-х в этом доме находилась резиденция посла Японии.

 В 2013- 2014 годах прошла его реставрация. 

Реставрационные работы в интерьерах были выполнены с сохранением всех ценных элементов планировки и художественной отделки. Восстановлены камины в трех помещениях: мраморная облицовка, расчищены топочные отверстия, заменено зеркало в лепной раме с многофигурной композицией. На первом этаже современные пластиковые окна были заменены деревянными, а на втором этаже установлено по два отдельных окна в каждом проеме (окна «в две нитки»). Удалось сохранить и отреставрировать часть дверных и оконных откосов из оселкового мрамора и даже старинные запорные механизмы на окнах (утраченные были воссозданы). Отреставрированы и уникальные двери второго этажа — филенчатые с латунными ручками в виде лап, удерживающих граненые стеклянные шары, а также складчатая дверь кабинета с прорезным орнаментом, имитирующая шкаф. В кабинете карниз, украшенный маскаронами в виде львиных голов, был восстановлен по образцу найденных в подвале аналогичных фрагментов. Теперь здание занимает посол Швейцарии в России.

В 2013 году Особняк И. Г. Наумова - А. С. Олениной стал лауреатом конкурса Правительства Москвы на лучший проектов области сохранения и популяризации объектов культурного наследия "Московская реставрация" в номинации: "За лучшую организацию ремонтно-реставрационных работ".