Главный дом усадьбы в Армянском переулке основан на старинных палатах XVII века. Белокаменный подвал палат является их сохранившейся частью. Палаты связаны с именем боярина Ивана Михайловича Милославского. В XVIII веке усадьба меняла владельцев, включая князей Волконских, графов Дмитриевых-Мамоновых и дворян Глебовых. В 1790 году усадьба перешла к князю Ивану Сергеевичу Гагарину, который перестроил дом и придал ему классический облик. Матвей Федорович Казаков был автором проекта перестройки дома. В 1810 году усадьба была продана семье Тютчевых, которые провели здесь детские и юношеские годы. Усадьба не пострадала от пожара 1812, а в советские годы здесь размещались различные учреждения, дом сохранил исторический облик.
