Городская усадьба между Пятницкой улицей и Голиковским переулком сложилась в середине XVIII столетия при владелице княгине П.И. Вяземской. Главный дом имел форму «глаголя» (буквы «Г») и был ядром плотной усадебной застройки, состоящий из нескольких зданий. В 1789 году при новом хозяине отставном вахмистре Т. Рахманове у дома появился второй этаж и пристройка. В пожаре 1812 года все усадебные здания сгорели и были снесены для осуществления корректировки красной линии Пятницкой улицы. До конца 1840-х годов сведений о застройке усадьбы нет. В середине XIX столетия на планах этой части Замоскворечья появляется каменный особняк с деревянным поперечным мезонином. По всей вероятности, его построили в 1810-1830-е годы. Объемно-пространственное решение и декор фасадов позволяют отнести это здание к постройкам, выполненным по проектам «Собрание фасадов, Его Императорским Величеством высочайше апробованных частных строений в городах Российской Империи» (1809-1812 годы).

Помимо главного дома в усадьбе было еще два здания: жилой корпус с деревянной пристройкой со стороны двора и каменный сарай вдоль Голиковского переулка. В 1860-х годах новая хозяйка Ф.Ф. Назарова купила соседнее владение по Пятницкой улице и присоединила его к своей усадьбе. Однако уже в 1873 году приобретенная ранее часть была отдана по дарственной. В 1900-х годах М.П. Назарова (наследница предыдущей собственницы) сдавала строения усадьбы внаем и получала доход. Ее арендаторами были купец Лобозев, который содержал винную лавку, купец Алексеев, владевший овощной лавкой, и мещанин Сиротин, разместивший на фасаде надпись «Прием заказов для портновского заведения». Остальные помещения Назарова сдавала под жилые квартиры.

Почти за двести лет своей биографии здание не претерпело существенных перестроек. В наши дни провели реставрацию, в ходе которой специалисты восстановили замковые камни окон из белого камня, обработку первого этажа под руст, подоконные карнизы с кронштейнами и сандрики над тремя окнами второго этажа. Боковые фасады были также отреставрированы, их украшают более скромные замковые камни. Дом № 36 по Пятницкой нельзя назвать главной достопримечательностью улицы, однако по его облику можно судить, как выглядела рядовая застройка Москвы, соответствовавшая типичным проектам послепожарного периода.