Первоначально это была усадьба И.О. Цурикова. Здание в стиле классицизма пострадало во время пожара 1812 года, уничтожившего более ⅔ построек Москвы. Тогда был выстроен главный дом ( предположительно архитектором М.Ф. Казаковым) для рода Нарышкиных – в особняке жил декабрист М.М. Нарышкин. Здесь собирались члены тайного общества декабристов - К. Ф. Рылеев, И. И. Пущин, Е.П. Оболенский. В январе 1826 года Михаил Нарышкин и Иван Пущин были арестованы, о чем свидетельствует памятная доска, изображающая кандалы в лавровом венке.
Со второй половины XIX века в здании располагалось Удельное ведомство. После 1850-х годов здесь устраивались литературные и музыкальные вечера. В доме не раз бывали выдающиеся писатели, поэты, художники: И. Е. Репин, И. С. Тургенев, А. Н. Островский, А. Ф. Писемский, А. А. Фет, А. Г. Рубинштейн и другие знаменитые люди искусства.