В первой половине XVIII века в Охотном Ряду, неподалеку от несохранившейся до наших дней церкви св. Параскевы Пятницы, располагалась обширная усадьба, принадлежавшая князю В. М. Долгорукому-Крымскому. Здесь стоял двухэтажный каменный дом с центральным проездом и целый ряд служебных построек. Свою военную службу князь Василий Михайлович начал в тринадцатилетнем возрасте солдатом под начальством фельдмаршала Миниха. Как военачальник участвовал в Семилетней войне и в Русско-турецкой войне (1768—1774), дослужился до чина генерал-аншефа. В 1780 году был назначен московским главнокомандующим. За непродолжительный срок успел немало сделать для города. В 1782 году его не стало. А спустя два года, усадьбу В. М. Долгорукого-Крымского приобрело организованное незадолго до этого Московское Дворянское (или Благородное) собрание.

Старый дом был перестроен по проекту известного архитектора М. Ф. Казакова. Новое огромное здание включило в себя всю застройку долгоруковской усадьбы. На месте бывшего двора был устроен большой парадный зал, предназначенный для проведения балов и приемов, впоследствии ставший известным как Колонный зал. Здание при этом было переориентировано своим парадным фасадом с центральным шестиколонным ионическим портиком и двумя тосканскими пилястровыми портиками по бокам в сторону Большой Дмитровки. Торцевой фасад, выходящий на Охотный Ряд, украсили две пары тосканских колонн, фланкировавшие подъезд с арочным входом. Центром здания стал огромный бальный зал, окруженный гостиными и кабинетами. Благодаря величественным и торжественным коринфским колоннам, расположенным вдоль стен, Колонный зал и получил свое название. Вместе с тем в разговорной речи так часто называют и само здание Дворянского собрания.

Первоначально на праздники в Благородное собрание допускались только дворяне. Членом московского собрания был и император Александр I. Позже, с принятием нового Устава 1849 года, доступ сюда по приглашению участников получили почетные граждане, купцы 1 гильдии и художники.

В пожар 1812 года здание очень серьезно пострадало. Через два года оно было полностью восстановлено учеником М. Ф. Казакова архитектором А. Н. Бакаревым.

В феврале 1827 года членом Благородного собрания стал А. С. Пушкин.

В 1903 году здание было перестроено по проекту архитектора А. Ф. Мейснера. Был надстроен третий этаж, изменены фасады – на смену ионическим колонам портиков пришли коринфские. Практически неизменным остался только Колонный зал – без сомнения одно из лучших творений Казакова.

После революции здание передали профсоюзам. Отсюда его новое советское название: Дом Союзов. На различных съездах, конференциях и заседаниях здесь неоднократно выступал В. И. Ленин. В январе 1924 года здесь же стоял и гроб с его телом. И в дальнейшем, по сложившейся традиции, советский народ прощался со своими ушедшими лидерами в Колонном зале Дома Союзов. Помимо многочисленных общественных съездов и заседаний в бывшем Доме Благородного собрания проходили политические процессы 1930-х годов, проводились шахматные турниры, устраивались праздничные концерты и детские новогодние елки.

В наши дни здесь также проводятся различные общественные и культурные мероприятия.