Первоначально дом принадлежал статской советнице Анне Семёновне Олениной, матери известного государственного деятеля Алексея Оленина. Дом был построен в XVIII веке и тогда представлял собой характерный для того времени особняк, стоящий торцом к улице. Вход в дом был со стороны обширного сада, занимавшего значительную часть территории.
После пожара 1812 года наследники Анны Олениной продали усадьбу. С конца XIX века дом принадлежал известному издателю Владимиру Думнову. Думнов приобрёл дом в 1894 году и поручил архитектору Петру Самарину перестроить здание в стиле неоклассицизма. Главный вход был перемещён в торец здания, а фасад украсил портик с четырьмя полуколоннами коринфского ордера. Этот декор придал зданию торжественный и величественный вид, символизируя статус нового владельца.
На протяжении своей истории дом принимал в своих стенах множество известных личностей. В начале XIX века здесь жил писатель Иван Сергеевич Тургенев, а в 1840-х годах — декабрист Захар Чернышев. В 1873 году дом стал принадлежать другу и ученику Петра Ильича Чайковского — Владимиру Шиловскому. Сам Чайковский неоднократно бывал в этом доме, что делает его значимым объектом для истории русской культуры.
Реставрация, проведённая в 2011–2013 годах, включала не только капитальный ремонт, но и тщательное восстановление исторических деталей, которые были утеряны в процессе модернизации здания. Специалисты укрепили существующий фундамент и сводчатые перекрытия, чтобы обеспечить конструктивную устойчивость зданию на долгие годы. Были воссозданы заложенные ранее оконные и дверные проёмы, что позволило вернуть зданию первоначальный облик.
Интерьеры усадьбы также были тщательно отреставрированы. В ходе работ специалисты восстановили художественные паркеты, отреставрировали старинные камины, а также лепной и штукатурный декор стен и потолков. Особое внимание уделялось мелким деталям — мраморным подоконникам, дверным и оконным откосам из оселкового мрамора, скобяным изделиям и старинным осветительным приборам. Эти элементы были либо отреставрированы, либо воссозданы по аналогам, сохранившимся в архивных документах.
Особенно сложной задачей стала реставрация интерьерной и фасадной скульптуры, барельефов и горельефов. Мастера воссоздали утраченные детали с точностью до миллиметра, используя как старинные методы, так и современные технологии. Были заменены и обновлены все инженерные системы, что позволило усадьбе соответствовать современным стандартам при сохранении исторической аутентичности. Кровля была заменена на аналогичную исторической. Также проводились работы по благоустройству внутреннего двора, включая создание новых ландшафтных элементов и ограничение перепадов рельефа с помощью подпорных стенок.
Благодаря реставрационным работам, дом был приведён к первоначальному облику и вновь стал ярким украшением Кисловского переулка. В 2013 году проект реставрации стал лауреатом конкурса «Московская реставрация».
Сегодня особняк занимает резиденция посла Швейцарии.
