Армянский переулок не просто так носит свое название – домами в этой местности с XVIII века владел богатый купец армянин Лазарь Назарович Лазарян, которому в мае 1774 года Императрица Екатерина II пожаловала потомственное дворянство. Впрочем есть сведения, что армяне селились в этом районе ещё с XVI века. Родом Лазарь Лазарян был из Персии, в Российской Империи он занялся шелковым и бумажным производством, в чем достаточно преуспел. Позже он занялся горным производством, где также имел успех. Вскоре, будучи одним из самых богатых купцов Москвы, он сменил фамилию на Лазарев и в 1758 году приобрел усадьбу в Столповском, ныне Армянском, переулке.

Возможно, часть усадьбы Лазаревых изначально принадлежала семье Милославских, с чем связаны недавно открытые реставраторами палаты в правой части усадьбы. Невероятное по своей красоте здание с килевидными завершениями наличников, разорванными фронтонами и лоджией в центре должно было принадлежать весьма обеспеченной семье в XVII веке. По мнению историков, усадьба Милославских смотрела как раз в соседний Кривоколенный переулок, и поэтому вполне могла бы стать частью будущей усадьбы Лазаревых.

В начале XVIII века усадьба переходила из рук в руки, сначала от Вахрамея Миллера, «железных заводов держателя», к князьям Несвицким, потом к Салтыковым, и только в XIX веке владение стало частью нынешнего армянского посольства.

Семья Лазаревых покупает каменные здания, находящиеся на этой территории, у Захария Шеримана, «шелкового» промышленника. Сыновья Лазаря Назаровича устраивают здесь армянское учебное заведение, жалуя ему крупную сумму денег. Перестройка имеющихся домов и строительство основного здания началось в 1813 году. Любопытно, что все здания, находящиеся здесь, не сгорели во время нашествия французов в 1812 году. Тогда с большим трудом удалось спасти Армянский переулок: по рассказам, помог мамелюк Рустам, служивший в охране Наполеона. Именно он спас эту территорию от сожжения и разгрома. Кроме усадьбы от пожара были спасены Армянская церковь и флигели армянской Крестовоздвиженской церкви, находившейся напротив, которые сохранились до настоящего времени. Ещё Екатерина II дозволила строить армянские церкви в Санкт-Петербурге и Москве, «на таком основании, как и Католические церкви состоят». По одним сведениям, армянская Воздвиженская церковь была построена в 1779 году, а по другим - в 1781 году. При обновлении церкви в 1829 году, ее украсил своими скульптурами Витали. Считалось, что армянские церкви не могли использовать колокольный звон, поэтому только в 1866 году стало возможно построить здесь колокольню при церкви. В 1938 году церковь была разобрана, и на её месте выстроили типовое здание школы, но при этом флигели церкви сохранились до нашего времени.

В 1815 году в усадьбе Лазаревых было открыто училище. А в 1822 году во дворе установили обелиск в честь владельцев дома и основателей училища. К 40-м годам XIX века флигели усадьбы были соединены с основным зданием переходами для удобства учащихся. В 1835 году училище Лазаревых получило статус гимназии, а в 1848 году стало Лазаревским институтом восточных языков. Здесь учились писатель Иван Тургенев, режиссер Станиславский, государственный деятель Лорис-Меликов.

В 1905 в Лазаревском институте находился революционный склад оружия, обнаруженный только в ноябре 1906 года во время обыска после покушения на московского градоначальника Рейнбота. После 1917 года Лазаревский институт закрывается, и в главном здании открывается театральная студия под руководством Е. Б. Вахтангова, где работал его ученик Рубен Симонов. В 1921 году дом Лазаревых становится «Домом культуры» советской Армении. В 1953 году его закрывают, и сюда въезжает Институт востоковедения Академии наук СССР, работавший здесь до 1977 года.

В настоящее время в здании располагается посольство Армении.