Известно, что в конце XVIII в. на территории современного Хлебного переулка располагались дворы мануфактурщика А. Гмурова, но о застройке того периода никаких сведений не сохранилось. В начале XIX в. здесь находилась усадьба бригадира В. А. Мельгунова, организованная по традиционному принципу: деревянный главный дом, фланкированный каменным жилым флигелем, выходил на красную линию улицы, а хозяйственные постройки формировали дворовое пространство. Пожар 1812 г. нанес значительный урон строениям, но вскоре усадьба была восстановлена и сохраняла свой облик до середины XIX в.

В 1868 г. владелец участка купец С. С. Поляков затевает глобальную перестройку. Домовладение застраивается по совершенно иному принципу и имеет теперь периметральную планировку, характерную для доходных домовладений. По красной линии Хлебного переулка по проекту архитектора К. В. Гриневского возводят двухэтажный каменный дом, в центре которого располагается проездная арка, ведущая во двор. В планировке дома и композиции застройки еще видны усадебные черты, присущие классицизму. Главный дом имеет второй высокий этаж с анфиладой парадных помещений со стороны главного фасада и жилые помещения со стороны двора, а также антресоли, все как в традиционной усадьбе. Но, в отличие от усадьбы, здание разделено на несколько отдельных квартир, по две на этаж, которые начинают сдавать внаем. Сам владелец также жил в этом доме.

В 1910-х гг. одну из квартир арендует знаменитый русский ученый, антрополог, этнограф, археолог и музеевед Д. Н. Анучин. Дмитрий Николаевич был профессором и почетным членом Московского университета и являлся основоположником научного изучения географии, антропологии и этнографии в России. Был товарищем председателя Московского археологического общества, способствовал выведению археологических изысканий из любительского на профессиональный уровень. Создал музеи географии и антропологии при университете. Основал новый научный раздел – озероведение (лимнологию), положив начало систематическому изучению рельефа озер России. Автор многочисленных научных трудов, некоторые из которых до сегодняшнего времени являются наиболее фундаментальными по отдельным вопросам. 
Здание выполнено в кирпичном стиле, широко распространенном в 1870-1880 гг. Плоскость главного фасада разделена на два яруса и богато декорирована. По краям арки располагаются два входа в здание, отделенные от нее пилястрами.
Застройка участка остается без изменений до 1950-х гг., когда сносятся отдельные строения на территории бывшей усадьбы, разбирают брандмауэр и забор, а вот облик главного дома сохраняется практически без изменений. В интерьерах сохранились элементы декоративного убранства второй половины XIX в.