Дом № 12, строение 1 по Пятницкой улице – сохранившийся флигель бывшей здесь прежде городской усадьбы. Она состояла из главного дома, стоявшего в глубине двора, и двух флигелей, построенных в конце XVIII столетия и выходивших торцами на красную линию Пятницкой по границам владения. В пожаре 1812 года флигели пострадали незначительно и через пять лет были полностью восстановлены. При этом их размер несколько увеличился. В 1820-е годы, следуя ампирной моде, хозяин усадьбы серпуховской купец В.В. Варгин приказал надстроить флигели деревянными мезонинами. В 1845 году новый владелец Б.В. Варгин пристроил к зданию небольшой объем, поставленный по новой красной линии Пятницкой улицы. Именно поэтому образовался уступ на уличном фасаде, хорошо заметный и сегодня.

В середине XIX века на первом этаже флигеля находились пять комнат и две кухни, а в мезонине – еще одно жилое помещение. В 1871 году Д.И. Варгин продал усадьбу потомственной почетной гражданке Е.А. Барановой. С 1885 года некоторые помещения сдавались в аренду под лавки. Так в 1900 году часть флигеля занимали лавки купца Козырева, торговавшего лампадным маслом. В 1907 году из-за корректировки красной линии Пятницкой улицы был снесен второй флигель, стоявший справа. Вместо него построили каменную ограду с кованой решеткой. Эти изменения лишили усадьбу четкой классицистической композиции. За четыре года до революции вместо деревянных пристроек к западной части интересующего нас здания возвели каменный квадратный в плане объем.

В 1920-е годы все строения усадьбы приспособили под коммунальные квартиры. Главный дом (Пятницкая улица, 12, строение 2) был надстроен четырьмя этажами. В советское время провели реставрацию и восстановили небогатые украшения здания.

В 1985 году во флигеле разместился филиал музея Л.Н. Толстого. Есть мнение, что великий русский писатель снимал этот дом в течение нескольких месяцев с осени 1857 года. Однако никакие документальные подтверждения обычно не приводятся. Толстой действительно взял в аренду одно из строений обширной усадьбы купцов Варгиных, но это был другой дом, из окон которого писатель мог любоваться церковью Параскевы Пятницы. Сегодня в Толстовском центре на Пятницкой улице проходят крупные тематические и фондовые выставки из собраний музея, детские музейные программы, вечера-встречи с деятелями культуры и концерты. Из всех строений дореволюционного владения только флигель сохранился без существенных изменений и представляет сегодня типичное здание купеческой усадьбы XIX века.