Родился в Москве в 1904 году. С 1920 по 1926 год он учился у Ивана Жолтовского и Александра Веснина во ВХУТЕМАСЕ, после окончания которого он вступил в Общество современных архитекторов (ОСА). Дипломный проект Центрального продуктового рынка в Москве, сделанный Барщом вместе с Михаилом Синявским сразу был опубликован в журнале «Современная архитектура». Успех этого проекта позволил этим архитектором получить заказ на проектирование здания нового типа, объединяющего научные, образовательные и массовые зрелищные функции – Московского планетария, открытого в 1929 году.

С 1929 года Барщ работает в группе Моисея Гинзбурга, сконцентрировавшейся на разработке новой универсальной жилой ячейки. Прототипом использования таких ячеек стал реализованный в Москве на Гоголевском бульваре в доме № 8, комплекс, использовавший в одном из двух жилых корпусов двух-уровневые ячейки типа F. Барщ, вместе с другими архитекторами коллектива получил там квартиру.

В 1930-е Барщ занялся проблемами социалистического расселения. Стремление к идеалам дезурбанизма, поддерживаемое Гинзбургом вылилось в совместную разработку планов Зелёного города на 1 миллион человек, состоящего из ленточных поселений.

Практическое воплощение этих теорий можно увидеть в проекте, подготовленном вместе с Владимировым, Охитовичем и Соколовым для Магнитогорска, нового промышленного города на Урале, окруженного открытыми пространствами и свободного от ограничений традиционной городской среды.

В последующие годы Барщ по-прежнему был глубоко увлечен архитектурными дискуссиями, касающимися будущего архитектуры в том числе и жилищной.