Массивное и величественное здание церкви господствует над всеми окружающими заданиями. Даже новая застройка ХХ века по соседству не задавила его и не преуменьшила значение в формировании облика Новой площади. Однако кресты на храм и колокольню вернулись совсем недавно.
Точная дата строительства первой церкви неизвестна, но как существующая она упоминается уже в 1493 году. В следующий раз она появляется в источниках по прошествии почти века – в 1585 году, как деревянная. Тогда же становится известно и ее прозвище – «под вязом», по крупному дереву, которое росло рядом с алтарем храма до 1775 года. К началу XIX века старое церковное здание обветшало, но начать его перестройку помешала Отечественная война 1812 года. Лишь в 1825 году (эта дата до сих пор заметна на фронтоне над алтарем) начались строительные работы по проекту архитекторов С.П. Обитаева и Л.П. Карлони, продлившиеся 12 лет и завершившиеся в 1837 году.
Возведенное в стиле ампир, двухъярусное здание нового храма получило сразу шесть престолов – весьма крупная цифра для приходской церкви. Наверху – главный престол во имя Иоанна Богослова с двумя приделами по обе стороны: Обретения Главы Иоанна Предтечи и Евангелиста Луки. Внизу – центральный придел Покрова Пресвятой Богородицы и боковые приделы святого Николая Чудотворца и Митрофания Воронежского. Церковь выходит на Новую площадь своим восточным фасадом с алтарем, который вследствие такого парадного расположения был оформлен в виде массивного шестиколонного портика с рустовкой в нижней части и лишен выступов. Боковые фасады декорированы скромнее. Особую торжественность зданию придает высокий световой купол, украшенный ионическими колоннами и увенчанный традиционной для православных храмов главкой. В 1840-х годах церковь получила новую колокольню, почти сравнившуюся по высоте с куполом храма благодаря вытянутому шпилю с крестом. С севера и с юга от храма на Новую площадь выходят симметрично поставленные ампирные двухэтажные дома причта с лавками на первом этаже: соединенные с церковью при помощи двух арок ворот с фигурными завершениями, они образуют вместе с нею законченный ансамбль.
В 1925 году храм был закрыт – одним из первых в округе – и приспособлен сначала под архив, а затем под коммунальный музей, превратившийся в 1934 году в Музей истории и реконструкции Москвы. Церковь лишилась главы и шпиля колокольни, внутри появились межэтажные перекрытия, почти все убранство оказалось уничтожено, за исключением некоторых фрагментов лепнины. Вплоть до переезда музея в здание Провиантских складов на Зубовском бульваре церковь была закрыта. Лишь в 2011 году здесь возобновились богослужения, тогда же храм получил статус домовой церкви при Российском православном университете имени Иоанна Богослова.
