Этот дом пережил войну 1812 года, нашел отражение в романах «Анна Каренина» и «Война и мир» и был тесно связан с семьей самого графа Л. Н. Толстого. Дед Льва Толстого по матери, хозяин и устроитель усадьбы Ясная Поляна, прототип старого князя Болконского из романа «Война и мир», купил особняк у Муравьевых. Сам «старый, мрачный дом на Воздвиженке» фигурирует в романе.