История домовладения на месте современного дома в Чистом переулке относится к XVIII веку, когда участком земли владел капитан Арсений Алексеевич Обухов, по имени которого в то время был назван переулок.
С 1796 года усадьба перешла семейству Офросимовых. С 1805 года хозяином владения, к которому относилась и территория дома № 7, был генерал-майор Павел Офросимов. После его смерти здание усадьбы переходит его жене Настасье Офросимовой, которая была известна в Москве своей решительностью, самоуправством и способностью вмешиваться в чужие дела. По словам П.А. Вяземского, Анастасия Дмитриевна Офросимова «была долго в старые годы воеводою в Москве... Молодые люди, молодые барышни, только что вступившие в свет, не могли избегнуть осмотра и, так сказать, контроля ее». Именно она стала прототипом Марьи Дмитриевны Ахросимовой в романе Толстого «Война и мир», а также свояченицы Фамусова, Хлестовой, в романе Грибоедова «Горе от ума». Здание усадьбы, как и весь Обухов переулок, сильно пострадало при пожаре 1812 года и было построено заново по проекту архитектора Федора Соколова. Главный дом был возведен в 1833 году, в 1847-м его расширили – он получил кирпичные пристройки по бокам. На тот момент это было самое крупное здание в Обуховом переулке.
В 1918 году усадьба была реквизирована, в ней разместились различные учреждения. В 1922 году Обухов переулок был переименован в Чистый, а дом № 5 передали в ведение Наркомата иностранных дел. Главный дом долгое время служил резиденцией послов Германии – здесь жили и граф Брокдорф-Ранцау (первый посол), и граф фон Шуленбург (последний посол перед войной).
В 1943 году здания бывшей усадьбы были переданы Московской патриархии.
В правом ризалите главного дома был устроен храм во имя иконы Божией матери. В главном доме был оборудован зал заседаний Синода, получивший название «Красный зал», а также рабочие комнаты служащих учреждений Московской патриархии и личные покои патриарха Сергия.
При патриархе Кирилле Патриаршая резиденция в Чистом переулке стала традиционным местом наречения во епископов клириков, избранных Священным синодом.