«Домик садовника» (предположительно мыльня) был построен в начале XIX века на территории Смотрительского двора как мыльня (баня) для многочисленных служащих и солдат, обслуживающих царицынский парк и оранжереи. Автор проекта неизвестен, но, предположительно, это человек из круга В.И. Баженова.

В 1840-е годы здание было приспособлено для Волостного правления. В 1930 годы оно было перестроено и расширено. С 1930-х по 1970-е годы здесь располагался Народный суд, затем различные учреждения, в том числе в 1975 году Лечебно-трудовой профилакторий. Во второй половине 1970-х годов здание было разобрано.

В 2006-2007 годах ООО «Столичное археологическое бюро» провело археологические  исследования, в результате которых были обнаружены первоначальные фундаменты здания, представляющие собой прямоугольный объем с полуротондой на восточном фасаде. 
Согласно Генеральному плану села Царицына, близ «Домика садовника» в начале XIX века был разбит новый фруктовый сад. Сейчас здесь высажены небольшие группы из красивоцветущих декоративных кустарников (спиреи, чубушника, сирени, гортензии), которые являются достойным украшением этой территории.