На рубеже XVII–XVIII веков на землях бывшей Мясницкой слободы стали охотно селиться представители дворянства и купечества. Мясницкая улица, ставшая к тому времени одной из главных городских артерий, украсилась немалым количеством каменных домов. Одним из новых домовладельцев стал купец Гостиной сотни Федор Козмин, или Казьмин, который и выстроил с отступом от красной линии улицы каменные барочные палаты.
Шли годы, менялись хозяева, менялась и архитектурная мода. В середине 1760-х годов новым владельцем стал генерал-аншеф П.И. Панин, известный военачальник Семилетней войны, позднее командовавший подавлением Пугачевского восстания. При нем старый особняк был перестроен: по обеим сторонам главного дома появились крылья, изменился декор фасадов.
Еще через тридцать лет новую перестройку затеял князь Александр Иванович Лобанов-Ростовский, ставший владельцем усадьбы в 1791 году.
Автором проекта, придавшего главному зданию классический облик, сохранившийся до наших дней, часто называют одного из самых известных московских архитекторов М.Ф. Казакова. Однако документальных подтверждений этому нет. Фасад здания вошел в знаменитые «Архитектурные альбомы» зодчего, но Казаков включал в них не только собственные работы, но и планы и фасады понравившихся ему «партикулярных строений», созданных другими архитекторами — его современниками.
Вполне вероятно, что строителем был Франческо, или Франц Иванович, Кампорезе. Скорее всего, по его проекту двухэтажный особняк был удлинен по уличному фасаду за счет пристроек с востока и запада, где разместились парадные залы. Центральная часть главного фасада получила украшение в виде коринфского колонного портика, увенчанного массивным аттиком с полукруглым окном мезонина, создающим впечатление триумфальной арки. Два боковых ионических портика с пилястрами, напротив, отличаются большей лаконичностью и легкостью. И наружные стены, и интерьеры здания украшены богатым лепным декором.
В конце 1820-х годов, вероятнее всего после 1828 года, в усадьбе размещалась «Школа рисования в отношении к искусствам и ремеслам», основанная графом С.Г. Строгановым, — предшественница Строгановского училища. В 1826 году усадьбу приобрел управляющий Московским архивом Коллегии иностранных дел, известный историк А.Ф. Малиновский. В это время здесь не раз бывал А.С. Пушкин. Хозяйка дома, Анна Петровна, хорошо знакомая с семьей Гончаровых, принимала активное участие в сватовстве поэта.
В 1836 году у владения появились новые хозяева — известные механики, датчане братья Николай и Иоганн Бутенопы, владельцы завода по производству сельскохозяйственной техники и башенных часов. Часы, изготовленные на заводе Бутенопов, были установлены и в Большом Кремлевском дворце, и на Спасской башне Московского Кремля. Куранты появились и на мезонине дома на Мясницкой. Сама же усадьба была приспособлена под производственные цели.
В 1874 году владение приобрели братья Липгарты, владельцы товарищества «Эмиль Липгарт и Ко». Во дворе усадьбы по проекту архитектора А.Ф. Мейснера были возведены новые производственные корпуса. В одном из строений разместилось реальное училище К.П. Воскресенского. В 1906 году для училища архитектор А.В. Кузнецов, один из известных мастеров московского модерна, построил новый корпус — нынешнее строение 2.
После 1917 года в старинном здании располагался госпиталь, а затем сюда въехали Московская потребительская коммуна и Совет кооперации.
К середине 1980-х годов усадьба пришла в аварийное состояние. Ремонт, начавшийся в 1987 году, так и не был завершен. Лишь в середине 2000-х годов новый арендатор — Некоммерческое партнерство по развитию культуры и искусства «Меценат клуб» — провел полную комплексную реставрацию.
Сегодня усадьба находится под охраной и включена в Единый государственный реестр объектов культурного наследия, памятников истории и культуры народов России.
