В 1810 году генерал-майор А.А. Тучков выстраивает на углу Пречистенки и Мансуровского переулка усадебный комплекс из трех зданий: главный дом – на месте старых палат, флигель и, в глубине двора, службы. Во время пожара 1812 года главный дом не пострадал, и около 1817 года все владение покупает граф С.П. Потемкин. Затем владельцы еще несколько раз меняются, в 1871-1872 годах по заказу новой хозяйки А.П. Мартыновой архитектор П.С. Кампиони переделывает главный дом – появляется пристройка со стороны переулка, а фасад отделывают в стиле эклектика.

В 1889 году усадьбу приобретает Иван Абрамович Морозов, известный промышленник и меценат. При нем перестраивается служебный корпус (ныне здание Института истории искусств), появляется каменная ограда, отделяющая усадьбу от Александро-Мариинского училища благородных девиц. Главный дом в 1905 году реконструируется под руководством архитектора Л.Н. Кекушева для размещения морозовской коллекции западно-европейской и русской живописи конца XIX - нач. ХХ вв. В особняке появляется так называемая несгораемая комната: толстые каменные стены, бетонированный сводчатый потолок, два маленьких окна и двустворчатая дверь были устроены по системе несгораемых шкафов – с внутренними ставнями. В случае надобности в этой комнате можно было спрятать всю коллекцию. (В 1920-е музей Л.Н. Толстого использовал комнату для хранения рукописей писателя). Архитектор также удалил обильную лепку анфиладных комнат, выходящих на Пречистенку, в прежнем виде осталась столовая, декорированная в готическом стиле. Декоративные панно и скульптура для концертного зала и парадной лестницы были выполнены известными французскими художниками М. Дени (серия декоративных панно на тему мифа о Психее), А. Майолем (бронзовые декоративные скульптуры «Памона» и «Флора».), П. Боннаром (триптих «Средиземное море» в помещении парадной лестницы).

Коллекция И.А. Морозова была почти недоступна для осмотра, со временем владелец намеревался подарить ее Москве, но случилась революция. Галерея была национализирована и послужила основой для создания Музея новой западной живописи. Бывший владелец был назначен заместителем директора этого музея. В конце 1918 года И.А. Морозов эмигрировал.

Известно, что Музей нового западного искусства очень любил посещать Осип Мандельштам. Здесь он мог видеть импрессионистов, Ван Гога, Сезанна и других близких ему художников. С посещениями этого музея связано стихотворение «Импрессионизм» («Художник нам изобразил…», 1932) и глава «Французы» из «Путешествия в Армению».

В 1929 году проводилась частичная реконструкция главного дома. По проекту архитектора С. Калугина проводились работы по устройству нового выставочного зала. С 1947 года в усадьбе разместился Президиум Академии художеств СССР, в настоящее время Российская академия художеств, совместно с НИИ теории и истории изобразительных искусств.

Дом является объектом культурного наследия федерального значения.