В XVII веке на этом участке на Лубянке находились палаты князя Дмитрия Михайловича Пожарского (1577–1642) — главы Второго народного ополчения, освободившего Москву от польско-литовских сил. Перед палатами в Смутное время находилась баррикада, на которой Д.М. Пожарский был тяжело ранен.
После смерти владельца в 1642 году усадьба перешла к родственникам его жены — князьям Голицыным, а в конце XVII века была разделена на две части. На участке, отошедшем Нарышкиным, был выстроен каменный двухэтажный дом в нарышкинском стиле, который, несмотря на многочисленные перестройки, сохранил свою основу до наших дней. Предполагается, что в его подвальной части частично уцелели стены палат Д.М. Пожарского.
На протяжении XVIII века усадьба неоднократно меняла владельцев, среди которых были представители знатнейших родов России: князья Долгорукие, Голицыны, Нарышкины, Хованские, Наумовы. В этот период здание использовалось не только как жилое, но и для государственных нужд. В эпоху императрицы Анны Иоанновны здесь размещался Монетный двор, а при императрице Елизавете Петровне — Камер-коллегия, ведавшая казёнными сборами.
В 1770-х годах, при московском главнокомандующем князе Михаиле Никитиче Волконском (1713–1788), палаты были перестроены. В реконструкции приняли участие архитектор Франческо (Франц Иванович) Кампорези и скульптор Юнг. В 1788 году усадьба перешла к его дочери — княгине Анне Михайловне Прозоровской (1749–1824). В 1790-х годах здесь находилась резиденция турецкого посла.
Новый этап в истории усадьбы начался в 1811 году, когда её приобрёл граф Фёдор Васильевич Ростопчин (1763–1826), назначенный в следующем году московским главнокомандующим (генерал-губернатором). Здесь у Ф.В. Ростопчина до сдачи Москвы во время Отечественной войны 1812 года жил историк Н.М. Карамзин. Сюда же с Бородинского поля был привезён раненый генерал П.И. Багратион. Во дворе перед домом произошли самосуд и убийство купеческого сына М.Н. Верещагина, несправедливо обвинённого в предательстве. Благодаря Л.Н. Толстому, описавшему эту сцену в романе «Война и мир», усадьба вошла в образ Москвы в мировой литературе. Именно здесь в 1812 году Ф.В. Ростопчин получил письмо от М.И. Кутузова с приказом о сдаче Москвы.
Во время Отечественной войны 1812 года и пожара Москвы усадьба Ф.В. Ростопчина, в отличие от многих других зданий, уцелела. В ней размещался наполеоновский генерал Анри-Франсуа Делаборд.
В 1814 году Ф.В. Ростопчин устроил здесь торжественный приём по случаю победы над Наполеоном. Впоследствии усадьбу унаследовал его сын — граф Андрей Фёдорович Ростопчин (1813–1892).
В 1842 году владение приобрёл герой Отечественной войны 1812 года генерал от кавалерии граф Василий Васильевич Орлов-Денисов (1775–1843). Однако он не успел заняться обустройством усадьбы, которая перешла к его сыну — графу Николаю Васильевичу Орлову-Денисову (1815–1855). При нём по сторонам главного дома были выстроены несколько эклектичные флигели одной с ним высоты, вторящие его архитектуре. Тогда же появились и сохранившиеся до наших дней изящные пилоны ворот.
В 1847 и 1849 годах Н.В. Орлов-Денисов принимал в усадьбе цесаревича Александра Николаевича (впоследствии императора Александра II). В 1849 году вместе с цесаревичем усадьбу на Лубянке посетили великие князья Михаил Павлович и Константин Николаевич, а также гессенский принц Александр.
В 1857 году статский советник Николай Павлович Шипов (1806–1887) приобрёл усадьбу для своей жены Дарьи Алексеевны, урождённой Окуловой (1811–1865). При ней в главном доме устраивались пышные балы, была создана домовая Благовещенская церковь.
В 1882 году усадьбу купил потомственный почётный гражданин, купец Эмиль Маттерн. Однако уже на следующий год её приобрело Московское страховое от огня общество. Позднее здесь размещалось Российское общество застрахования капиталов и доходов.
С 1918 года владение находилось в ведении органов государственной безопасности. В позднесоветское время здесь размещались их музей и архив.
В 1970-х годах главный усадебный дом был отреставрирован, однако работы затронули главным образом внутренний декор.
В 2016–2020 годах усадебный ансамбль был полностью отреставрирован. В ходе реставрации проведены масштабные работы по восстановлению исторического облика главного дома. В подвале отреставрированы белокаменные стены палат, кирпичные своды и чугунные колонны. На первом этаже восстановлены стены и своды, подоконники, кирпичная кладка столбов и арок балкона. Особое внимание уделено реставрации кирпичных и металлических сводов Монье, доломитовых ступеней и чугунного ограждения парадной лестницы, лепных карнизов. Были раскрыты исторические проёмы, заложенные в советское время. На стенах, потолках и карнизах анфилады залов второго этажа отреставрирована лепнина с воссозданием утраченных деталей. Воссозданы паркетные полы, отреставрирован искусственный мрамор стен и оконных откосов.
На главном фасаде восстановлены штукатурный цоколь и оконные приямки. Первоначальный облик обрёл портик с арочными проёмами, несущий балкон второго этажа. По существующим образцам изготовлены керамические вазоны XIX века на ограждении кровли, произведена вычинка кирпичной кладки стен, расчищены элементы лепного и белокаменного декора. Особую ценность представляют восстановленные настенная и потолочная живопись, а также отреставрированные печи и камины XIX века с зеркалами.
Результаты реставрации были высоко оценены профессиональным сообществом: усадьба стала лауреатом конкурса «Московская реставрация — 2020». Особую ценность садику перед усадьбой придаёт растущий в нём жостер даурский — редкое для Москвы дерево, охраняемый памятник природы.
