Основная литературная экспозиция, рассказывающая о жизни и творчестве Л. Н. Толстого, располагается в старинном особняке (бывшем владении Лопухиных-Станицкой), построенном в 1817 году по проекту архитектора А. Г. Григорьева. Знаменитый зодчий наряду с Д. Жилярди и О. И. Бове отстраивал Москву после пожара 1812 года.

Здание деревянное, оштукатуренное, представляет собой блестящий образец зрелого московского ампира: внутри строения − анфилада парадных залов с плафонной живописью, фасад украшают белые колонны и барельефы.

Увидев впервые этот «чудный ампирный особняк», организатор и хранитель Толстовского музея В. Ф. Булгаков принял решение: «Вот достойное помещение для музея Л. Н. Толстого». Это произошло в 1920 году, и с тех пор здание на Пречистенке, 11/8 неотделимо от имени писателя.

За более чем 100-летнюю историю музея сменилось несколько постоянных экспозиций: «Л. Н. Толстой и его эпоха», «Его душа объяла всех и вся», «Земля и небо Льва Толстого» и другие.