В день переворота Екатерина II появилась перед гвардейскими частями в мундире с чужого плеча. Появиться в дамском платье она не сочла возможным, а времени на пошив мундира не было. Пришлось «одолжиться» у подпоручика Семёновского полка Александра Талызина. Впоследствии этот мундир, украшенный Андреевской звездой, был возвращён хозяину. А Талызин почти через четверть века, выйдя в отставку действительным камергером и тайным советником, поселился в Москве и приобрёл у грузинского царевича Георгия Багратиони двор на Воздвиженке (современный дом № 5/25).
Документальная история этого владения прослеживается с 1620-х годов. Тогда участок был поделён между подворьем Псково-Печерского монастыря и дворянином И. Писемским. В середине века здесь располагалась усадьба боярина Ивана Милославского, родственника царя Алексея Михайловича. В 1659 году казна приобрела его двор для размещения Нового аптекарского двора. В 1670-е годы здесь началось активное строительство под руководством «дворцовых каменных дел подмастерского сына» Гурия Варфоломеева. Вдоль Шуйского (ныне Староваганьковского) переулка возвели дошедшую до наших дней Трапезную палату Аптекарского двора. В начале XVIII века, после переезда Аптекарского двора в Мещанскую слободу, владение перешло к известному петровскому дипломату В. Долгорукому. Возможно, именно при нём был построен дворовый корпус, известный как «Дом садовника». При императрице Анне Иоанновне Долгорукий был арестован, а его двор передан «царю грузинскому Вахтангу», лишившемуся престола Картли и переехавшему в Россию. В это время появился каменный дом на углу Воздвиженки и Староваганьковского переулка, вероятнее всего, по проекту П. Еропкина. Возможно, эта палата частично сохранилась в объёме современного дома.
У наследников Вахтанга VI и приобрёл усадьбу А. Талызин. К 1787 году по красной линии Воздвиженки было поставлено трёхэтажное здание с двумя флигелями. Автор проекта неизвестен. По одной из версий, это был М. Ф. Казаков. Ансамбль усадьбы Талызиных зафиксирован в его «Архитектурных альбомах».
Двор принадлежал Талызиным до 1805 года, затем был продан купцам Устиновым. Усадьба была существенно перестроена: появились двухэтажные переходы между главным домом и флигелями. Фасады получили ампирную отделку. При Устиновых особняк стал одним из культурных салонов Москвы. Их музыкальные вечера посещали братья Вяземские, Денис Давыдов. Бывал здесь и Пушкин. Известный британский актёр и режиссёр сэр Питер Устинов — представитель этой фамилии.
В 1845 году владение было продано Министерству финансов, и здесь разместились Московское уездное казначейство и Московская казённая палата. В середине 1890-х годов боковые части главного дома были надстроены третьим этажом, и здание приобрело нынешние формы.
В 1920 году в особняк въехал Секретариат ЦК РКП(б). Здесь находились рабочие кабинеты Сталина и секретарей ЦК Молотова и Куйбышева. Затем в здании попеременно располагались Госплан СССР и Министерство юстиции. В 1930-е годы усадьбу превратили в общежитие, потом — в коммунальное жильё. Серьёзно пострадали интерьеры.
Сразу после Великой Отечественной войны часть здания была передана вновь созданному Музею русской архитектуры. Начавшаяся реставрация осложнялась тем, что в доме продолжали жить люди. Последний жилец выехал в январе 1961 года.
Музейный комплекс составляют: главный дом усадьбы с флигелями; Трапезная палата Нового аптекарского двора (служебный флигель); бывший Конюшенный корпус (служебный флигель, флигель «Руина»); «Дом садовника».
История Государственного музея архитектуры тесно связана с усадьбой Талызиных на Воздвиженке, где сегодня располагается его главный корпус. Идея создания музея, посвящённого архитектуре, возникла в России ещё на рубеже XIX–XX веков среди специалистов, изучавших и реставрировавших памятники древнего зодчества. Предполагалось создать научный центр, который собирал бы документы, чертежи, архитектурные модели и другие материалы, позволяющие проследить развитие мировой архитектуры. Реализовать этот замысел удалось лишь спустя несколько десятилетий.
Первое архитектурное музейное учреждение было создано в 1934 году как подразделение Академии архитектуры СССР. Оно размещалось на территории Донского монастыря, где формировалась коллекция архитектурных чертежей, фотографий и фрагментов разрушенных памятников. Сотрудники музея занимались научными исследованиями, экспедициями и учётом архитектурного наследия страны.
После Великой Отечественной войны возникла идея создать музей, посвящённый именно русской архитектуре и открытый для широкой публики. В 1945 году было принято решение разместить его в усадьбе Талызиных на Воздвиженке — одном из значительных памятников московского классицизма XVIII века. Инициатором создания музея стал архитектор А.В. Щусев, который возглавил новое учреждение. Под его руководством началась научная реставрация усадебного комплекса и формирование музейной экспозиции. Уже в конце 1940-х годов в восстановленных залах парадной анфилады открылись первые выставки, а к середине 1950-х годов была подготовлена постоянная экспозиция.
В 1964 году музей архитектуры Академии архитектуры и Республиканский музей русской архитектуры были объединены в Государственный научно-исследовательский музей архитектуры имени А.В. Щусева. Усадьба Талызиных стала его главным выставочным центром.
В начале 1990-х годов коллекции музея были перевезены из Донского монастыря на Воздвиженку. Несмотря на трудности, музей продолжил научную и выставочную деятельность. Сегодня его собрание насчитывает сотни тысяч предметов — архитектурные чертежи, модели, фотографии, фрагменты исторических зданий и личные архивы архитекторов.
