Массивное и величественное здание церкви Иоанна Богослова «под вязом» господствует над окружающей застройкой. Даже зданиям, построенным в ХХ веке, не удалось «задавить» его, преуменьшить его значение в формировании облика Новой площади. Однако кресты на храм и колокольню вернулись совсем недавно.
Церковь Иоанна Богослова впервые упоминается в московской летописи под 1493 годом — тогда деревянный храм сгорел во время пожара. Точная дата строительства каменной церкви остаётся спорной: в одних источниках сообщается, что в 1626 году две церкви, старая деревянная и новая каменная, стояли рядом, но другие источники относят возведение каменной церкви к 1658 году. Каменный храм имел два боковых придела — в честь Покрова Богородицы и во имя святого Николы Чудотворца. Храм называли «в Китае у стены», по месту расположения, и «под Вязом», по большому дереву, которое росло рядом с алтарём до 1775 года.
В 1825 году, после разборки старого обветшавшего здания, началось строительство новой церкви, более вместительной. Эта дата до сих пор заметна на фронтоне алтарной стены. Имя архитектора, которому принадлежит проект, достоверно не установлено. Чаще всего авторство приписывают С.П. Обитаеву, Л.П. Карлони или И.Т. Таманскому (сохранился проект колокольни, подписанный Таманским). Строительные работы завершились к 1837 году, тогда же состоялось освящение верхнего храма.
Церковь Иоанна Богослова — прямоугольное центрическое сооружение, увенчанное массивным барабаном купола. Здание построено в стиле ампир и вмещает сразу шесть престолов. Нижний храм освящён в честь Покрова Богородицы, его боковые приделы — во имя Николая Чудотворца и Митрофана Воронежского. Наверху находится главный престол, освящённый во имя Иоанна Богослова, и приделы — в честь Обретения Главы Иоанна Предтечи и во имя евангелиста Луки. Наиболее пышно оформлен восточный фасад, который ныне выходит на Новую площадь, но первоначально открывался в проезд между церковью и Китайгородской стеной (разрушена в 1934 году). Фасад не имеет алтарных выступов и имеет вид массивного шестиколонного портика с рустовкой в нижней части. Значительно скромнее декорированы боковые фасады. Особую торжественность зданию придает высокий световой купол, украшенный ионическими колоннами и увенчанный традиционной для православных храмов главкой.
Позднее здание храма было дополнено колокольней и домами причта, которые составили с ним единый ампирный ансамбль. Невысокая колокольня, возведённая в 1840-х годах, почти сравнялась по высоте с куполом храма благодаря вытянутому шпилю с крестом. Двухэтажные дома причта с лавками на первом этаже симметрично поставлены по сторонам храма и соединены с ним арками ворот с фигурными завершениями.
Церковь Иоанна Богослова была закрыта в 1925 году, она стала одной из первых приходских церквей, в которых прекратились богослужения. Здание было отдано под архив, затем в нём разместился Московский музей коммунального хозяйства (с 1934 года Музей истории и реконструкции Москвы). Облик здания претерпел изменения. Церковь лишилась главки, а колокольня — шпиля, внутри появились межэтажные перекрытия, почти всё убранство было уничтожено, за исключением некоторых фрагментов лепнины. Только в 2006 году было принято решение о переезде Музея Москвы в здание Провиантских складов на Зубовском бульваре.
Богослужения в церкви Иоанна Богослова возобновились в 2011 году, храм была передан Российскому православному университету Иоанна Богослова. В 2014–2017 годах, в рамках подпрограммы «Государственная охрана, сохранение и популяризация объектов культурного наследия» Государственной программы города Москвы «Культура Москвы на 2012–2019 годы», церковь и колокольня были отреставрированы, но работы по воссозданию внутреннего убранства ещё продолжаются.
