Родился в Москве. По семейному преданию первым Гунстом, приехавшим в Россию, был гравер анатомических листов личного врача Петра I немец Бадлоо. Сын архитектора Отто Карловича Гунста и купеческой дочери Анны Ивановны, урожденной Перелыгиной.
Первоначальное образование получил в Московской 3-й мужской гимназии. Затем в Московском Училище живописи, ваяния и зодчества, которое окончил в 1882 году. В 1882-1884 годах – преподавал строительное искусство в реальном училище К.К. Мазинга.
В 1886 году основал Классы изящных искусств на Малой Бронной, пользовавшиеся большой популярностью. С 1896 года – участковый архитектор Московской городской управы на Сущевском, Пречистенском и Хамовническом участках.
Как архитектор работал преимущественно в Москве. По его проектам построены особняки в Хамовниках, на Пречистенке, доходный дом на Кузнецком мосту и др.
Наиболее известным строением архитектора является Дом Ученых на Пречистенке. Им был пристроен двухэтажный зимний сад в виде полуротонды, оформлен парадный въезд в усадьбу с воротами и скульптурами львов на пилонах, устроен фонтан в саду.
В конце XIX века архитектор приобрел участок для собственного дома в Староконюшенный переулке. В 1900 году часть владений он отвел для постройки здания, в котором разместились меблированные комнаты.
Анатолий Оттович был человеком разнообразных интересов. В районе Всехсвятского у него была своя молочная ферма, продукцию которой он продавал в молочном магазине рядом со своим домом. Увлекшись фотографией, он вместе со своими единомышленниками основал в 1901 году Московское художественно-фотографическое общество, призванное объединить московских фотографов-любителей.
Гунст был заядлым театралом, дружил со многими известными тогда актерами. В 1913 году в своем доме в Староконюшенном переулке он создал общество «Московский драматический салон», почетными членами которого состояли актеры Малого театра М.Н. Ермолова, О.О. Садовская, А.И. Сумбатов-Южин, О.А. Правдин. Председателем общества был сам Гунст. Спектакли проходили в различных клубах, большая часть от доходов шла в благотворительные фонды. В этом обществе начала свою карьеру артистка Малого театра Е. Гоголева.
В 1916 году Анатолий Оттович создал «Лигу любителей сценического искусства», которая объединяла несколько любительских студий.
В 1917 году оставил занятия архитектурой и поступил актером в Малый театр, затем в театр К. Незлобина.
Женат на швейцарке Матильде Цезаревне Робер-Нику. Имел сына Евгения – переводчика, редактора, члена Союза писателей.
Умер в Москве, похоронен на Ваганьковском кладбище.
