В 1950 году окончил МХТИ имени Д. И. Менделеева по специальности «инженер-технолог». Избирался секретарём комитета комсомола института, первым секретарём Советского районного комитета ВЛКСМ Москвы. Ещё студентом, в 1948 году вступил в ВКП(б). После окончания аспирантуры находился на научно-педагогической работе в МХТИ, затем занимал пост заместителя генерального директора Международного агентства по атомной энергии в Австрии.
В 1966—1973 годах являлся доцентом, профессором, деканом факультета в МХТИ, а в 1973 году возглавил этот институт в должности ректора.
В 1985 году был назначен министром высшего и среднего специального образования СССР. В 1988 году после преобразования трёх центральных министерств — высшего и среднего образования, просвещения и профессионально-технического образования — возглавил Государственный комитет СССР по народному образованию. Спустя три месяца при вновь созданном комитете при непосредственной поддержке Г. А. Ягодина был создан временный научно-исследовательский коллектив «Базовая школа» (ставший известным как ВНИК «Школа»), который возглавил Э. Д. Днепров. К концу лета 1988 г. коллективом, состоявшим из авторитетных учёных-педагогов, были подготовлены проект нового устава школы и концепция развития образования в СССР, ставившие целью гуманизацию учебно-воспитательного процесса и демократизацию управления учебными заведениями. Эти документы были полностью поддержаны министром и внесены от имени Гособразования СССР на рассмотрение организованного при участии комитета Всесоюзного съезда работников народного образования, прошедшего в декабре 1988 года. В 1989—1991 годах Г. А. Ягодин и руководимое им ведомство подвергались критике как со стороны сторонников реформ, так и со стороны их противников. Первые считали, что демократизация образования идёт недостаточно быстро, вторые — что его деятельность ведёт к развалу советской школы.
Одним из первых нововведений Г. А. Ягодина стал вызвавший большой общественный резонанс принятый летом 1988 года приказ № 540, разрешавший переводить из класса в класс и даже выпускать с аттестатом учащихся средней и старшей школы, которые не успевали по одному или более предметам
Возглавляемый Ягодиным госкомитет стал одним из инициаторов и организаторов первого в СССР съезда работников образования, прошедшего в декабре 1988 года, на котором получил общественную поддержку и были приняты документы ВНИКа.
В течение 1991 года его три раза отправляли в отставку: в апреле и июле это пытался сделать премьер-министр В. С. Павлов, а в августе — ГКЧП. Несмотря на это, он сохранил свой пост вплоть до упразднения Гособразования в связи с коллапсом союзных органов управления. Интересно, что в последний раз решение о возобновлении работы Ягодина на посту главы Гособразования принял председатель Совета Министров РСФСР И. С. Силаев, что временно входило в сферу его компетенции, поскольку после событий 19—22 августа 1991 года он фактически возглавлял правительство СССР. 27 ноября постановлением Государственного Совета СССР Госкомитет по народному образованию был переименован в Комитет по образованию, а 10 декабря он был упразднён.
В 1991—2001 годах — ректор Международного университета в Москве.
Член-корреспондент РАН, действительный член РАО, доктор химических наук (1971), профессор, почётный профессор РХТУ имени Д. И. Менделеева (2002), почётный доктор Веспремского химико-технологического университета (Венгрия), Высшей химико-технологической школы (Болгария), Высшей химико-технологической школы (Прага, Чехия), Вроцлавской политехники (Польша), Южно-Корейского университета Кон Хи, Университета Фукуяма (Япония).
Депутат ВС СССР 11 созыва, член ЦК КПСС (1986—1991).
Был женат, имел двоих детей.
Похоронен в Москве на Троекуровском кладбище.
