Здание было возведено в 1915-1917 гг. по проекту архитектора А.Н. Соколова в сотрудничестве со знаменитым физиком-экспериментатором, создателем первой в России научной физической школы, П.Н. Лебедевым. К моменту постройки дома П.Н. Лебедева уже не было в живых, однако его консультации на этапе планирования Физического института позволили Соколову создать здание, максимально приспособленное для проведения научных экспериментов.

Необходимость в постройке здания Физического института возникла в связи с событиями 1911 года в Московском университете. Тогда, протестуя против действий министра просвещения Л.А. Кассо, который, по сути, возложил полицейские функции на университетскую администрацию, около ста профессоров и доцентов покинули стены учебного заведения. В число этих педагогов вошли В. И. Вернадский, С. А. Чаплыгин, А. А. Эйхенвальд, Г. И. Россолимо, К. А.Тимирязев и П. Н. Лебедев. Уход из университета привел к потере возможности проведения научных экспериментов: университет был тогда практически единственным местом в Москве, где могли бы вестись экспериментальные исследования в области физики, химии, биологии.

Подавшие в отставку учёные и преподаватели основали Общество Московского научного института, на базе которого появился Физический институт. После постройки нового здания на Миусской площади, он открылся в январе 1917 года. Позже, после национализации в 1917 году, здесь располагался Институт биологической физики под руководством академика П.П. Лазарева. 22 апреля 1922 года, накануне операции по извлечению пуль, оставшихся после покушения Фанни Каплан в 1918 году, в день своего рождения, сюда был привезен В.И. Ленин. В институте планировалось сделать рентгенологическое исследование, чтобы определить возможность и целесообразность оперативного вмешательства. Пуля в области шеи легко прощупывалась, удаление ее не представляло значительной сложности. На удаление этой пули лечащий врач Ленина согласился, в то же время он возражал против удаления пули, глубоко лежавшей в области левого плеча Владимира Ильича и ничем ему не мешавшей. Пули были хорошо видны. Они немного сместились со своих прежних мест сравнительно с тем, что было зафиксировано на рентгенограммах после ранения.

После того, как были сделаны снимки, Владимир Ильич отправился с академиком Петром Петровичем Лазаревым осматривать физический институт. Однако осмотр не удался. Ленин заинтересовался материалами по Курской магнитной аномалии и попросил академика познакомить его с этими материалами самым подробным образом. Ко всему, о чем рассказал ученый, Ленин проявил живой интерес, и, уезжая, просил держать его в курсе дела.

В 1931 году академик П.П. Лазарев, живший в здании Института, был арестован по политическому обвинению.

25 апреля 1934 г. Совнарком постановил перевести с 1 июля 1934 г. Академию наук СССР из Ленинграда в Москву в связи с ее переходом под непосредственное ведение СНК. Здесь в единственном тогда здании, разместился Физический институт АН СССР (ФИАН). Институт организовал и возглавил будущий Президент АН СССР С.И. Вавилов.

В настоящий момент здание находится в собственности Российской Федерации в оперативном управлении ФГУ "Федеральный исследовательский центр Институт прикладной математики им. М. В. Келдыша Российской Академии наук". 

На 2019 год назначено завершение реставрационных работ, направленных на укрепление фундамента и несущих стен.