И.Н. Римский-Корсаков прославился тем, что во времена правления Екатерины II, по словам Щербатова, «приумножил бесстыдство любострастия в женах». Корсаков сделал блестящую карьеру при Екатерине II, был её фаворитом целых 16 месяцев, кавалером ордена Белого Орла, генерал-адъютантом самой государыни, но навлек гнев государыни, похитив жену известного обер-камергера А.С. Строганова.
Императрица писала: «Его следовало бы брать как модель всем скульпторам, живописцам; все поэты должны воспевать красоту Римского-Корсакова». Пыляев же уверяет, что Корсаков был более любезен, чем красив, а легкомыслие и доброта довершали портрет.
Римский-Корсаков и Строганова поселились на Тверском бульваре в соседних усадьбах. Прожили они в мире и согласии 45 лет до самой смерти Екатерины Николаевны и имели двоих детей, которые были записаны как воспитанники возлюбленной пары. Иван Николаевич был отменный музыкант и имел самую дорогую в России скрипку. Москва полюбила его за чудачества, и про него ходило много анекдотов. Поговаривали, что у него в деревне в доме не только слуги, но и люди гостей пивали шампанское. Так же имел он у себя огромную библиотеку. Для её покупки Корсаков вызвал к себе книгопродавца, но на вопрос того, какие он желал бы иметь книги, Иван Николаевич ответил: «Об этом я уже не забочусь, это ваше дело, внизу должны стоять большие книги, и, чем выше, тем меньшие, точно так, как у императрицы».
После смерти гражданской жены, Иван Николаевич часто подолгу сидел перед её портретом. Погрустив, доставал заветную шкатулку с письмами Екатерины II, вздыхал их аромат и медленно перечитывал. Затем вынимал часы, подаренные ему Императрицею с её портретом и жемчужной надписью: «1 мая 1778» – день их встречи и день их первого поцелуя. Пушкин, бывая в Москве, захаживал сюда послушать рассказы о Екатерине, Потемкине и былых временах.
После смерти Римского-Корсакова в права наследства вступил его сын, Ладомирский В.Н. Фамилию и отчество Василий Николаевич получил от императрицы: он вырос как воспитанник своего отца. По другой легенде фамилия ему и сестре Варваре была пожалована императором Павлом.
В XX века в усадьбе был уже другой хозяин. Адресные книги называют дворянина Яголковского А.А. По иронии судьбы накануне революции дом приобретает известный авантюрист, шпион и друг Григория Распутина Дмитрий Рубинштейн или, как его называл Распутин, Митька. Соседний дом принадлежит убийце Распутина Ф. Юсупову.
Дом горел в 1812 году, потом был перестроен. Усадьбу дополнил ряд небольших служебных строений, вытянутых по линии переулка и бульвара. Тогда появились замкнутые дворы, которые были скрыты фасадом. Ампирный парадный фасад ничем не выдавал путаницы дворовых построек.
В советское время в доме были коммуналки.
В начале 2000‑х года была проведена реконструкция здания с сохранением облика фасадов. В здании открылся ресторан "Кафе Пушкинъ".
