В 1822 году московский губернатор Иван Фонвизин возвел главный дом усадьбы – двухэтажный особняк в стиле ампир. Здание, выделяющееся своим нарядным фасадом и шестиколонным портиком, было утоплено в глубине сада, что создавало атмосферу уюта и уединения.
В 1848–1849 годах здесь жил известный русский писатель Сергей Тимофеевич Аксаков. Этот период был для него непростым: из-за финансовых трудностей он мог позволить себе снимать жилье только в холодное время года, а летом приезжал в свое имение Абрамцево.
Дом в переулке Сивцев Вражек идеально подходил для приема гостей. Парадная анфилада включала в себя просторную центральную залу, две гостиные – «музыкальную» и «литературную», а также угловой кабинет хозяина. В гостях у Аксаковых часто бывали выдающиеся деятели того времени: М.П. Погодин, П.А. Плетнев, В.Г. Белинский, М.С. Щепкин, а также Н.В. Гоголь, который был на праздновании 40-летия писателя.
После смерти Сергея Тимофеевича в 1859 году особняк неоднократно менял владельцев. В конце XIX века он принадлежал братьям Второвым, которые сдавали его в аренду. Перед революцией 1917 года в доме проживал известный промышленник и меценат Сергей Рябушинский.
С 1981 по 1984 год здание прошло масштабную реставрацию и было открыто как дом-музей Аксаковых 1 апреля 1984 года. Музей стал отделом Государственного литературного музея. Экспозиция музея была посвящена истории русской литературы 1840–1860-х годов и включала личные вещи, фотографии и книги.
К сожалению, в 2004 году деревянное здание было разобрано и воссоздано в кирпиче. В 2005 году дом сгорел во время продолжающегося ремонта. После пожара здание было восстановлено, но уже не в своем первоначальном виде. В настоящее время в здании располагается музейное фондохранилище.
