Дом был построен на так называемом Ростовском подворье, где располагалась Церковь Благовещения Господня XVII века.

В 1930-х Союз Архитекторов СССР потребовал возвести новое жильё для постоянно увеличивающегося числа членов. Под строительство выдали участок земли у Ростовской набережной, на высоком берегу реки Москвы.

В течение 1934—1935 годов А. В. Щусев работает над реконструкцией Ростовской и Смоленской набережных левого берега Москвы-реки. Было принято решение строить на набережных жилые дома 8—9-этажной высоты и лишь в некоторых местах, во избежание монотонности линии застройки, увеличивать высоту до 14 этажей. Проект застройки всего высокого берега реки зданиями со множеством портиков, стел, арок и других декоративных элементов в стиле сталинского монументализма и неоконструктивизма Громадность строения сближала его с гостиницей «Москва», Госпромом и ансамблем площади Гагарина. Однако проект не был утверждён из-за очевидной дороговизны и чрезвычайной сложности предстоящих работ.

На смену грандиозному плану пришёл другой — более практичный и выгодный. Сократив площадь, занимаемую домом, Щусев оставил в проекте лишь полукруглое строение. Таким образом, дом должен был огибать церковь с двух сторон. В отличие от предыдущей задумки, здание сверху венчалось, а снизу подчёркивалось массивной колоннадой. Но и этому проекту не суждено было воплотиться. В результате был принят наиболее экономичный вариант без колоннады.

Работы начались в 1934 году, первая очередь строительства была закончена в 1938 году. Из всей планировавшейся застройки на набережных сооружены были только несколько отдельных жилых домов, принадлежавших различным застройщикам, да и то ни один из них не был закончен полностью. На Ростовской набережной была возведена лишь небольшая часть полуциркульного в плане здания, которая 25 лет одиноко высилась среди окружавшей её малоэтажной застройки. В 1960-х здание было достроено с применением новых технологий. С двух сторон к дому были пристроены крылья из кирпича. Церковь Благовещения была снесена.