Родился в крепостной семье, принадлежащей помещику Н.В. Кретову в слободе Васильевская Козловского уезда Тамбовской губернии. Помещик определил смышленого мальчика на обучение в Москву к архитектору Воспитательного дома Ивану Дементьевичу (Джованни) Жилярди. Затем учился в архитектурной школе Экспедиции кремлевского строения у Франческо Кампорези.
В 1804 году получил вольную, что дало ему право поступить на государственную службу. С 1805 года — архитектор Ревизион-Коллегии. В 1808-1840-х годах служил в ведомстве Московского Воспитательного дома — первоначально как помощник И.Д. Жилярди, затем его сына Д.И. Жилярди, с 1832 года как главный архитектор. Одновременно был архитектором Мариинской, Павловской, Голицынской больниц, Странноприимного дома Шереметевых.
С наступлением армии Наполеона в 1812 году, Григорьев уехал в Казань, но уже поздней осень вернулся и принял активное участие в Комиссии для строений. Вместе с О.И. Бове и Жилярди восстанавливал послепожарную Москву. Им были отстроены Воспитательный дом на Солянке, здание Московского университета, Манеж, усадьба Усачева на Земляном валу, усадьба Суханово и Конный двор в Кузьминках. Григорьев также завершил постройку храма Большого Вознесения у Никитских ворот по проекту Бове. Собственные постройки Григорьева культовых сооружений — церковь Воскресения на Ваганьковском кладбище и церковь Троицы на Пятницком кладбище.
Автор ряда небольших городских особняков, частью не сохранившихся. Самые известные его строения в Москве – усадьба Хрущевых-Селезневых (ныне музей А.С. Пушкина) и усадьба Лопухина (ныне музей Л.Н. Толстого) на Пречистенке, особняк Докучаева на Мясницкой, собственный дом в Милютинском переулке. Восстановил городскую усадьбу Разумовских на Гороховом Поле (ныне улица Казакова).
Афанасий Григорьев был блестящим мастером чертежа, акварели, рисунка. Он оставил большое архитектурно-графическое наследие.
Григорьев был женат дважды. Первый раз — на сестре архитектора Ф.М. Шестакова. Она умерла, умер и ее брат. Григорьев и жена Шестакова, оставшись вдовцами, поженились. От первого брака имел троих сыновей: Павла – архитектора; Ивана – врача; Михаила - художника.
Умер в Москве в своем доме. Похоронен на Калитниковском кладбище.
