Первое архивное изображение дома № 3/5 по Спиридоновке относится к 1764 году, однако проведенные в 1970-х гг. археологические исследования выявили, что еще в конце XVII века на этом месте были возведены каменные палаты. 

Предполагают, что здесь располагались мастерские по производству разрывных артиллерийских снарядов, находившиеся в ведомстве Пушкарского приказа (с 1701 года – Артиллерийского приказа). Здесь же находился склад для хранения боеприпасов. Отсюда наименование – Гранатный двор. Кроме того память об этих мастерских сохраняется в названии Гранатного переулка, который примыкает к Спиридоновке вблизи от того места, где находятся палаты. 

Есть сведения, что двор собирались перенести подальше от города, но по тем или иным причинам задуманное так и не было исполнено. В 1712 году в Москве произошел большой пожар, сильно пострадал и Гранатный двор. Взорвались пороховые склады, здание практически превратилось в руины. Тем не менее, часть стен сохранилось, и их использовали при возведении новой постройки. 

Существует другая версия, согласно которой у палат было не производственное, а административное назначение. Они являлись приказным корпусом для проживания чиновников военного ведомства на территории "Гранатного двора". Сам же двор, скорее всего, располагался ниже по переулку. 

Так или иначе, здание нуждалось в перестройке и вновь возведенное на этом месте строение, почти не напоминало те палаты, что стояли здесь до пожара. Об их существовании напоминали лишь кирпичные своды в нижнем этаже, оставшиеся местами оконные проемы и фрагменты декора. Согласно архивным данным в середине XVIII века домовладение принадлежало князю М.С.Долгорукому, позже здесь селились купцы, а затем был дом причта церкви "Большое Вознесение".

В 1930-е гг. здание подвергалось неоднократным переделкам, причиной которых стало, прежде всего, устройство здесь коммунального жилья.
В 1973 году, когда, в ходе предварительных реставрационных работ по восстановлению памятника, находившегося к тому моменту в плачевном состоянии, были обнаружены свидетельства, позволившие определить датировку здания, было принято решение вернуть палатам первоначальный облик конца ХVII – нач. ХVIII вв.. Работы по реставрации проводились здесь в 1970-х и в 1990-х гг. 

Реставраторы воссоздали планировку здания того периода, сводчатые перекрытия этажей, высокую вальмовую кровлю. Со стороны восточного фасада восстановили каменное крыльцо с шатровой кровлей, а вдоль западного фасада – двухэтажную галерею (гульбище), оформленную аркадой в первом этаже.

Фасады палат украшает белокаменный декор, довольно скупой, что говорит в пользу производственного назначения здания: трехчастный карниз опоясывает здание, оконные и дверные проемы обрамлены широкими профилированными наличниками, вертикальный ритм здания поддерживают плоские лопатки. 

Культурный слой палат XVI в.—XVII в. является памятником археологического наследия федерального значения и охраняется государством.