Однажды за обедом Олсуфьев предложил Толстому купить дом рядом с их усадьбой в Хамовническом переулке: «Оттуда Вы сможете постоянно ходить гулять на Воробьевы горы, ни разу не ступая на мостовую, переходя из Вашего сада в наш сад».
В середине XIX века Московский район Хамовников и Девичьего поля представлял собой огромную территорию, редко застроенную обширными усадьбами и больше напоминавшую деревню, чем город. Прошло то время, когда территорию Хамовников занимала большая слобода тверских ткачей. Здесь, недалеко от Камер-Колежского вала, находилась обширная усадьба Олсуфьевых.
В конце XIX века усадьба была частично распродана, и часть ее, которая выходила в Долго-Хамовнический переулок, принадлежала коллежскому секретарю Ивану Александровичу Арнаутову.
Усадебный дом был старинный, деревянный. Его пощадил московский пожар 1812 года. Так он и стоит, огороженный затейливым деревянным забором, такой же, как и в 1805 году, когда его построили. Вокруг усадьбы сохранились дворовые службы и даже кусочек прекрасного сада, который некогда простирался между Долго-Хамовническим и Олсуфьевским переулками.
В 1882 году граф Л.Н.Толстой был вынужден покинуть Ясную Поляну и перебраться в Москву: старшие дети выросли, юношам и девушкам надлежало учиться и выезжать в свет.
Необходимость жить в городе расстраивала Толстого, он не мог себе представить, что ему придется «ходить по мостовой, которую он терпеть не может». Тогда его друзья, Олсуфьевы и предложили ему приобрести дом купца Арнаутова. Сейчас трудно себе представить, но тогда отсюда до Воробьевых гор можно было дойти «ни разу не ступая на мостовую».
Идея Льву Николаевичу понравилась, и в 1882 году семья Толстых въехала в свой «Хамовнический дом».
Жена Толстого писала: «В отдаленном переулке Москвы стоит желтый деревянный дом среди большого сада с липовой аллеей, курганом, беседкой и даже яблонями. В этом саду особенно хорошо весной: сирень цветет, дорожки посыпаются песком, кое-где краснеют тюльпаны и цветут душистые нарциссы».
Олсуфьевы и Толстые были соседями совсем короткое время. Усадьбу Олсуфьевых купила Варвара Алексеевна Морозова для постройки психиатрической клиники. Такое соседство Толстого тоже устраивало, он стал частым гостем клиники, подружился с ее директором и основателем Сергеем Сергеевичем Корсаковым. Их часто можно было увидеть прогуливающимися по саду.
Существует много легенд и историй, связанных с этим соседством. Корсаков говорил, что Лев Толстой отдал часть своего сада клинике, но с условием, что он может прогуливаться там, когда захочет: в заборе была калитка. Дочь Толстого вспоминает о пациенте клиники, сбежавшем через забор и прятавшемся в их саду. Младший сын Толстых Ванечка «подружился» с одним с пациентов, общаясь с ним через дырочку в заборе. Эта трогательная дружба описана в рассказе Софьи Андреевны Толстой «Ванечка».
Дом стал свидетелем жизни великого писателя, сюда приходили его друзья, бывали Репин, Серов, Короленко, Чехов, Горький, Рахманинов, Шаляпин, Скрябин. Годы, проведенные в Хамовнической усадьбе, были знаковыми в жизни Толстого: всеобщее признание, почет и тут же отлучение от церкви, смерть Ванечки.
В 1890-х район перестал быть усадебным. Рядом вырос Клинический городок Московского Университета, строились промышленные предприятия. «Я живу среди фабрик, – писал Толстой. – Каждое утро в 5 часов слышен один свисток, другой, третий, десятый, дальше и дальше».
В 1901 году Толстые уезжают в Ясную Поляну.
20 ноября 1921 года Хамовническая усадьба становится музеем Л.Толстого. Здесь сохранены мебель и предметы, принадлежащие писателю и его семье. Уникальный дом с уникальной обстановкой хранит память о Москве и людях, живший в ней много десятилетий назад.
