Большой Ржевский переулок расположен в районе между Новым Арбатом и Поварской улицей. В начале XVIII века земли в этом районе стали заселятся дворянством, чиновниками и военнослужащими. Сформировались два типа застройки: крупные дворянские усадьбы загородного типа, превратившиеся постепенно в классицистические усадебные ансамбли, а также небольшие городские усадьбы с преимущественно деревянной застройкой для чиновного и служилого дворянства. 

На месте дома № 5 по Большому Ржевскому в первой половине XVIII века находились два двора, принадлежавшие разным владельцем. В 1749 году канцелярист Андрей Алексеевич Жуков, которому принадлежал южный двор, выкупил второе домовладение и объединил их. После смерти Жукова его вдова продала участок соседу – дворянину Василию Дмитриевичу Березникову, присоединившего его к своему существующему владению. Таким образом, образовалась довольно крупная усадьба, занимавшая центральное положение в квартале, выходящая на Борисоглебский и Большой Ржевский переулки. Вся застройка усадьбы того времени, будучи деревянной, была полностью уничтожена в пожаре 1812 года.

В 1817 году новый хозяин комиссионер 8-го класса М.Н. Орлов разделил территорию на две части, выстроив со стороны Большого Ржевского переулка одноэтажный деревянный дом на каменном фундаменте с ризалитом со стоны двора, сохранившийся до настоящего времени. В 1829 году дом был расширен пристройками. Западная же часть участка долгое время оставалась пустопорожней.

Первые сохранившиеся чертежи главного фасада относятся к 1837 году. Видно, что его архитектурное решение выдержано в стиле московского ампира. Главным украшением дома был выдающийся четырехколонный ионический портик, стоящий на рустованном подиуме, соединенный металлическими решетками и завершенный широким карнизом и прямым аттиком.

В 1864 году была проведена реконструкция главного фасада, в результате которой он лишился портика, а на месте колонн появились филенчатые пилястры, окна обрамили тянутыми наличниками.

Объемно-планировочная структура усадебного дома сохранялась до 1880 года, когда со стороны двора возвели новую пристройку. А в 1888 году по проекту архитектора Адольфа Николаевича Кнабе для жены губернского секретаря А.Т. Назаровой построили двухэтажный каменный жилой корпус, выходящий главным фасадом на красную линию переулка. Корпус был пристроен к северному фасаду существующей усадьбы, на месте снесенных служебных флигелей. Вдоль западной границы появился каменный хозяйственный корпус, который в 1920-е годы надстроили и приспособили под жилье, а в 1970-е разобрали. 

Фасад главного дома приобрел пышный декор, характерный для эклектики середины XIX века, к сожалению дошедший до нас с существенными утратами. Пилястровый портик завершался филенчатым аттиком и полуциркульным фронтоном, над которым возвышались четыре декоративные вазы и фонарь, украшенный также пилястрами и аркадой. Стены были гладко отштукатурены и завершались сложнопрофилированным карнизом с широким фризом, местами декорированным триглифами и метопами. Окна обрамляли наличники с "ушками" и сандриками разной формы. Над двумя центральными окнами располагалась круглая розетка в обрамлении полуциркульной филенки.

В 1904 году Назарова написала дарственную в пользу Симоновской школы Московского благотворительного общества, которая и занимала это здание в начале XX века. В связи с этим обстоятельством, помимо архитектурной, здание обладает также и исторической ценностью.