Учрежден 21 мая 1942 года Указом Президиума Верховного Совета СССР «О введении для военнослужащих гвардейских частей и соединений Красной Армии и Военно-Морского Флота гвардейских военных званий».
Автор рисунка знака художник С. И. Дмитриев.
Право носить знак имели военнослужащие, которые служили в формированиях, удостоенных почетного звания «Гвардейские».
Нагрудный знак «Гвардия» носился на парадной и повседневной военной форме одежды с правой стороны первым, и размещался на расстояниях, установленных инструкцией. Крепился с помощью штифтового (в последних образцах – булавочного) крепления.
Вручение гвардейских знаков в военное время проходило в торжественной обстановке — на общем построении и с выносом знамени подразделения, причём этой чести удостаивались лишь военнослужащие, принимавшие участие в боевых действиях. Получившему знак солдату или офицеру также полагался соответствующий документ, однако в этом вопросе единообразия не было. Запись о выдаче, как правило, заносилась в красноармейскую книжку или удостоверение личности, но нередко и это правило не соблюдалось. В некоторых подразделениях гвардейцам выдавались справки, удостоверения или специальные книжечки, подтверждающие факт вручения знака.
В ходе битвы за Москву более 40 частей и соединений Красной Армии получили звания гвардейских, в пламени сражений у стен столицы родились танковая, авиационная и кавалерийская гвардия Красной Армии.