Армянский переулок не просто так носит свое название – домами в этой местности с XVIII века владел богатый купец армянин Лазарь Назарович Лазарян. Впрочем, есть сведения, что армяне селились в этом районе ещё с XVI века. Лазарь Назарович сменил фамилию на Лазарев и в 1758 году приобрел усадьбу в Столповском, ныне Армянском, переулке. Семья Лазаревых покупает каменные здания, находящиеся на этой территории, у Захария Шеримана, «шелкового» промышленника. Сыновья Лазаря Назаровича устраивают здесь армянское учебное заведение, жалуя ему крупную сумму денег. Перестройка имеющихся домов и строительство основного здания начались в 1813 году. Любопытно, что все здания, находящиеся здесь, не сгорели во время нашествия французов в 1812 году. В 1815 году в усадьбе Лазаревых было открыто училище. А в 1822 году во дворе установили обелиск в честь владельцев дома и основателей училища. К 40-м годам XIX века флигели усадьбы были соединены с основным зданием переходами для удобства учащихся. В 1835 году училище Лазаревых получило статус гимназии, а в 1848 году стало Лазаревским институтом восточных языков. После 1917 года Лазаревский институт закрывается, и в главном здании открывается театральная студия под руководством Е. Б. Вахтангова, где работал его ученик Рубен Симонов. В 1921 году дом Лазаревых становится «Домом культуры» советской Армении. В 1953 году его закрывают, и сюда въезжает Институт востоковедения Академии наук СССР, работавший здесь до 1977 года.
В настоящее время в здании располагается посольство Армении.