История сада Баумана (с 2012 года он официально именуется «Сад культуры и отдыха им. Н. Э. Баумана») начинается с конца XVIII века. Тогда сад принадлежал Голицыным и был ими открыт для свободного посещения публики. В 1920 году площадь сада была увеличена за счёт соседних усадебных садов, главным образом, золотопромышленника Н. Д. Стахеева, дореволюционного владельца особняка на соседней Новой Басманной улице. Тогда же сад и получил имя Баумана.
Со стороны Старой Басманной в сад выходят дворовые фасады усадьбы Голицыных, в том числе и старинных палат. Со стороны Новой Басманной сад граничит с боковым фасадом особняка Н. Д. Стахеева и частью владений немецких купцов Прове. Уже в советское время, в довоенные годы, в саду существовала актёрская биржа прямо под открытым небом. Актёры, желающие подработать в провинциальных театрах, собирались здесь в надежде получить предложения от приезжих режиссёров.
В 2022 году на территории Сада открыт исторический каменный грот «Бельведер», находившийся в аварийном состоянии с 2009 года. В процессе работ по восстановлению была расчищена и загерметизирована каменная кладку, усилен фундамент, воссозданы арки по бокам от главного входа и лестницы. Под слоем грунта найден утраченный каскад, на его вершину установлена скульптура в виде танцующей девушки с высоко поднятой ногой.