Этот дом — один из немногих фрагментов Дмитровки классического периода. Его первыми известными владельцами были Мясоедовы. Дом особенно примечателен тем, что сохранил не только зафиксированный в альбомах М. Ф. Казакова фасад с пилястровым портиком, но и композицию усадьбы с полуциркульным задним двором (чтобы заглянуть в этот замечательный двор, надо пройти чуть ниже по Кузнецкому мосту). Сам главный дом появился не позже середины XVIII века, но вероятно, что своды в его северной части имеют более раннее происхождение.

В 1809 году, незадолго до войны, дом отошел к графу Федору Андреевичу Толстому, одному из известнейших коллекционеров Москвы. Его племянник скульптор Ф. П. Толстой (не путайте с Ф. И. Толстым-Американцем, он приходился хозяину племянником) писал о дяде: «Дом он имел чрезвычайно богато убранный, наполненный мрамором, бронзою и фарфором». Однако основным предметом коллекционирования Федора Андреевича являлись книги. «Библиотека русской старины графа Федора Андреевича Толстого заслуживает первое внимание и признательность соотечественника, — писал Павел Петрович Свиньин. — Святотатственная рука галлов пощадила сие сокровище: просвещенные сподвижники Наполеона не истребили его, вероятно, полагая, что книги сии не заслуживают ни малейшего внимания. Сие можно заключить потому, что многие из рукописей были ими разсматриваны и разбросаны, а французские сочинения взяты».

Самое интересное, что обширной библиотекой можно было свободно пользоваться. Сам Толстой говорил, что «чем более будут пользоваться моею библиотекою, тем более мне будет удовольствие, ибо вам известно, что единственная моя цель в том и состоит, чтобы обществу быть полезным».

В пожаре 1812 года дом уцелел и в конце 1820-х годов был продан. Коллекцию книг приобрела Петербургская публичная библиотека, а здание — Московская контора Императорских театров. В 1831-м сюда с Поварской перевели Театральную школу (ныне — знаменитое на всю страну училище имени Щепкина). Уже тогда была сделана ставка на успех этого образовательного учреждения. Для школы выстроили два корпуса во дворе дома и оборудовали специальный танцевальный зал — с покатым полом и перилами вдоль стен, своего рода предвестник танцевальных станков. А драматическое искусство с осени 1832 года преподавал М. С. Щепкин. Позже школа переехала на Неглинную, на Дмитровке же разместилась дирекция Театральной конторы. В 1886 году здесь постоянно бывал драматург А. Н. Островский, служивший заведующим репертуарной частью Московской конторы Императорских театров.

В 1895 году Л. Н. Толстой собрал здесь труппу Малого театра, чтобы ознакомить со своей новой и далеко не однозначной пьесой «Власть тьмы». Известный экспромт Владимира Гиляровского - «В России две напасти: внизу — власть тьмы, вверху — тьма власти» - появился как живая реакция на толстовскую пьесу.

Именно сюда пришел «устраиваться на работу» и молодой Шаляпин. Ему шел двадцать второй год, он только что прибыл в Москву и, зайдя в культурное заведение, порядком оробел. «В передней сидели сторожа с орлами на позументах, и было ясно, что они смертельно скучают. Бегали какие-то люди с бумагами в руках, с перьями за ушами. Все это мало было похоже на театр». После томительного многочасового ожидания в приемной Федору Ивановичу сообщили, что управляющему недосуг, а все подведомственные театры закрыты до осени. В результате Шаляпин устроился в оперу Мамонтова, по соседству. 

После революции на Дмитровке, 8 размещалось Управление государственных театров и Комитет охраны государственных музыкальных инструментов. Работы итальянских мастеров Страдивари, Гварнери, Амати, Гранчино, Бергонци, Альбани, Маджини, Вильома стали основой коллекции, которую (вкупе с национализированными в 1918-м) взялся охранять созданный комитет.

После Великой Отечественной войны в 1948 году на Дмитровке открылась Театральная библиотека, ныне Российская государственная библиотека по искусству.