Необходимость в здании, приспособленном для проведения научных экспериментов, возникла в связи с событиями 1911 года в Московском университете. Тогда, протестуя против реакционных действий министра просвещения Л.А. Кассо, который, по сути, возложил полицейские функции на университетскую администрацию, около ста профессоров и доцентов покинули стены учебного заведения. Среди этих преподавателей были В.И. Вернадский, С.А. Чаплыгин, А.А. Эйхенвальд, Г.И. Россолимо, К.А. Тимирязев и П.Н. Лебедев. Уход из университета привёл к потере возможности проводить научные эксперименты: университет тогда был практически единственным местом в Москве, где могли вестись экспериментальные исследования в области физики, химии, биологии (например, для этого было оборудовано здание Физического института Московского университета на Моховой, построенное в 1904–1906 годах).
П.Н. Лебедеву и его ученикам помогли общественные организации — Московский городской народный университет имени Л.А. Шанявского и Общество содействия успехам опытных наук и их практических применений имени Х.С. Леденцова. На частные пожертвования, собранные в 1912 году московской общественностью, было создано Общество Научного института для помощи московским учёным, которое способствовало, в частности, строительству нового здания для лаборатории Лебедева — Физического института.
По проекту архитектора А.Н. Соколова в 1915–1917 годах было возведено здание в манере неоклассицизма. На этапе планирования Соколов много консультировался с Лебедевым. К моменту постройки дома Лебедева уже не было в живых, однако по его советам удалось возвести здание максимально приспособленным для проведения научных экспериментов.
В январе 1917 года в новом здании открылся Физический институт — первый в России большой, по масштабам того времени, исследовательский физический институт, который сразу же развернул широкие исследования.
После Октябрьской революции 1917 года здание было национализировано. В 1919 году Физический институт передали в ведение Народного комиссариата здравоохранения РСФСР. Физический институт был переименован в Институт биологической физики под руководством академика П.П. Лазарева, талантливого ученика Лебедева. В институте велись междисциплинарные исследования в области фотобиологии, рентгенологии, электрокардиографии и молекулярной физики. 22 апреля 1922 года для проведения рентгенологическое исследование сюда привозили В.И. Ленина. Рентгенограмма должна была показать целесообразность оперативного вмешательства для извлечения пуль, оставшихся после покушения в августе 1918 года.
В 1934 году в истории здания начался новый этап. После решения Совнаркома о переводе Академии наук СССР из Ленинграда в Москву здесь разместился Физический институт Академии наук СССР (ФИАН; с 18 декабря 1934 года носит имя П.Н. Лебедева). В стенах института работали выдающиеся ученые, его сотрудники впоследствии получили семь Нобелевских премий. Здесь размещалась редакция журнала «Успехи физических наук», основанного П.П. Лазаревым. В 1951 году Физическому институту имени П.Н. Лебедева был предоставлен комплекс зданий на Ленинском проспекте.
После войны, в 1946 г., по проекту архитектора И.В. Жолтовского к изначальному двухэтажному зданию был надстроен третий этаж и построены в стиле первоначального здания еще два боковых корпуса.
После переезда ФИАН освободившиеся комнаты 3-го этажа Главного корпуса осенью 1952 г. заняла Лаборатория № 8 Геофизической комплексной экспедиции. Весной-летом 1953 г. в здании разместилось образованное в апреле того же года Отделение прикладной математики, имевшее статус секретного подразделения Математического института имени А.В. Стеклова Академии наук СССР, во главе с М.В. Келдышем. В 1966 году оно получило статус Института прикладной математики, с 1978 года носит имя М.В. Келдыша. 11 апреля 1983 года перед институтом был открыт бюст М.В. Келдыша (скульптор В.М. Клыков, архитектор Р.И. Смерджиев).
В настоящий момент здание полностью занимает Институт прикладной математики имени М.В. Келдыша Российской академии наук.
В 2019 году в здании завершились реставрационные работы по укреплению фундамента и несущих стен.
