В 1742 г. владение принадлежало И.И. Вельяминову-Зернову — представителю старинного боярского рода. При нем на участке были возведены каменные палаты, позже вошедшие в объем современного здания. В 1780-е гг. владельцем стал генерал-аншеф князь В.М. Долгоруков-Крымский, а позже — его зять князь Г.Г. Гагарин — художник, вице-президент Императорского Археологического общества и Императорской Академии художеств. С тех пор и до революции Гагарины и оставались хозяевами этого владения.
Здание пострадало в пожаре 1812 г. и через пять лет было перестроено. В то время это был усадебный комплекс, состоящий из главного дома в глубине двора и двух флигелей, соединенных чугунной оградой с воротами по красной линии Кузнецкого.
В усадьбе располагались, в основном, торговые заведения: например, знаменитый магазин Е. Наливкиной с «Кабинетом для чтения» — читальным залом, где регулярно проводились книжные выставки; книжный магазин с библиотекой для чтения А. Ланга. В 1843 г. здесь, по инициативе фабриканта и будущего городского головы Е.Ф. Гучкова, открылся «Магазин русских изделий» — первый магазин отечественных товаров на «французском» Кузнецком Мосту. Позже в левом флигеле усадьбы открылся еще один подобный магазин «Русский базар» («Базар изделий русских фабрик»). В середине XIX в. оба флигеля были соединены с главным домом застекленными галереями: так было создано единое торговое пространство, получившее неофициальное название «Пассаж Гагарина» — с магазинами купцов Поповых, Гучковых, Сапожниковых, А. Кони, мадам Дабо и мн. др.
А в 1886 г. усадьба была перестроена по проекту В. Коссова. Вскоре здесь был открыт филиал знаменитого универмага «Мюр и Мерилиз», который торговал тут галантереей, канцелярией, посудой. Через десять лет, по пожеланиям владельцев «Мюр и Мерилиз», была осуществлена еще одна перестройка — теперь уже под руководством известного московского архитектора Р. Клейна, включившего главный дом и оба флигеля в единый архитектурный объем. Фасад здания получил богатый лепной декор, включающий в себя фигуры грифонов и кадуцей — жезл бога торговли Меркурия. В центре фасада обращает на себя внимание гигантское двухэтажное окно, в верхней части арки которого расположен горельеф, изображающий нос лодки с якорем.
Помимо отделов «Мюр и Мерилиза», в гагаринском пассаже располагался ряд фотосалонов, в т. ч. известное в Москве фотоателье А. Рихтера (Ю. Мебиуса), основанное еще в 1850 г.
После революции в здание въехало издательство «Земля и фабрика», а также кооперативный магазин для работников ОГПУ. В верхних этажах были устроены коммунальные квартиры.
В послевоенные годы здесь был открыт гастроном № 41. Любопытной особенностью его планировки был П-образный зал с двумя входами со стороны Кузнецкого, между которыми находился подъезд с лестницей, которая вела на верхние этажи.
Торговые функции сохранились у дома и в наши дни. Сейчас здесь пассаж «Кузнецкий Мост» с многочисленными магазинами.
