Существующее здание, расположенное во владении на углу Бауманской (исторически - Немецкой) улицы и Бригадирского переулка, имеет длинную и интересную историю. В основе его – дом известного вельможи, лейб-медика Иоганна-Германна Лестока, построенный в 1740-х годах здесь, в бывшей Немецкой слободе. Лесток, придворный врач во времена правления Петра I и Екатерины I, позже состоял при дворе цесаревны Елизаветы Петровны, пользовался ее доверием и участвовал в дворцовом перевороте 1741 года. После того, как Елизавета Петровна взошла на престол, Лесток стал действительным тайным советником и возглавил Медицинскую канцелярию. Был агентом французского дипломатического влияния, что в итоге и погубило его карьеру – когда открылось его тайное сношение с французами, Лесток впал в немилость, а позже, в 1748 году, был арестован и отправлен в ссылку. Его дом в Немецкой слободе был конфискован в казну, позже сгорел во время пожара.

В 1750-х годах на основе дома Лестока архитектором князем Дмитрием Ухтомским было выстроено новое здание, предназначавшееся для московского департамента Сената (отчего он и получил название Сенатский дом). Дом, построенный в стиле барокко, отличался нарядным убранством фасадов, центральная его часть была увенчана куполом, к входам в здание вели парадные лестницы. После Сената здесь недолго располагался Почтовый двор, а потом Канцелярия конфискации. В конце XVIII века бывший Сенатский дом перешел в руки другого известного вельможи того времени – канцлера, князя Александра Андреевича Безбородко (который владел и соседним Слободским дворцом). Безбородко перестроил Сенатский дом, а потом подарил его Павлу I. На время коронации Павла I Сенатский дом стал дворцом наследника цесаревича Александра (резиденцией самого Павла I был Слободской дворец). В начале XIX века, уже при Александре I, во дворце жил его брат, цесаревич Константин.

Во время пожара 1812 года Сенатский дом сгорел, работы по его восстановлению были начаты лишь в 1827 году. По проекту архитектора Осипа Бове старый дворец был перестроен и расширен (за счет объединения главного дома и флигелей). Новое здание предназначалось для размещения здесь Военно-учительской семинарии. Фасады дома были оформлены в стиле ампир, здание приобрело парадный, но вместе с тем и строгий облик, какой сохранило и до нашего времени. Окна центрального ризалита и боковых фасадов оформлены пилястрами и украшены тонким фризом с военной символикой (щиты и доспехи). Остальные фасады здания (первоначально одноэтажные) оформлены рустовкой. В центральном фронтоне некогда помещался герб (двуглавый орел). Тогда же была создана и ограда здания, также с использованием античной военной символики – столбы ограды, выполненные в виде фасций (римский атрибут власти), увенчаны связанными боевыми топорами.

В XIX веке в здании размещалось малолетнее отделение Московского кадетского корпуса, потом казармы Троице-Сергиевского резервного батальона, а в начале ХХ века – казармы гренадерского Фанагорийского полка имени А.В. Суворова. В советские годы в здании располагалась Военно-химическая академия.

Здание, до сих пор принадлежащее военным, пустует с середины 2000-х гг. 

В настоящее время проводятся реставрационные работы.