Сын крепостного каменщика деревни Борисовой Коломенского уезда Московской губернии Иона Михайловича Губонина и Ирины Гавриловны.
В семнадцать лет покинул деревню и отправился в Москву, где работал по найму. С 1848 года занимался подрядами по каменным работам, что позволило ему набрать нужную сумму и в 1858 году выкупиться из крепостной зависимости.
Купив подмосковную каменоломню, наладил производство изделий из камня, таких как жернова, ступени и т.д. Поставлял камень для строительства Исаакиевского собора в Санкт-Петербурге, для постройки каменных мостов Московско-Курской дороги. С середины 1860-х годов начал участвовать в железнодорожных кампаниях. Им были выстроены Уральская, Балтийская, Лозово-Севастопольская и многие другие железные дороги. В результате при его участии было построено двадцать процентов от всех российских железных дорог, за что он получил славу «железнодорожного короля». Сделал огромное состояние, исчислявшееся в десятках миллионов.
Губонину принадлежит заслуга устройства первой конки сначала в Санкт-Петербурге, а с 1872 года в Москве.
В 1870-х годах получил потомственное дворянство.
Создал несколько новых предприятий, в том числе Бакинское нефтяное общество. Стал одним из первых, кто занялся развитием нефтяной промышленности в России. Для усовершенствования переработки нефти на своих заводах пригласил к сотрудничеству химика Д. Менделеева. Продукция его нефтяных заводов неизменно получала самые высокие призы на Всероссийских и Всемирных выставках, и он стал также именоваться «нефтяным королем».
Владел угольными шахтами, солеваренным и помольным производством, был учредителем множества акционерных обществ, Волжско-Камского банка, Северного страхового общества и др.
Активный общественный деятель и благотворитель. На средства Губонина содержался приют в Санкт-Петербурге, дом призрения вдов и сирот в Москве, построено здание Политехнического музея, Комиссаровское техническое училище и др. Оказывал материальную поддержку драматургу А.Н. Островскому.
Особую статью расходов Губонина составляло строительство церквей по всей стране. Принимал участие в постройке храма Христа Спасителя.
Губонину принадлежало имение Гурзуф в Крыму, где он пытался наладить курортное дело. В Гурзуфе им были построены множество гостиниц, грязелечебница, проведен водопровод. Много времени Губонин уделял развитию крымского виноделия.
В 1875 году Губонина принимал император Александр II, благодаривший его за труды во благо отечества.
Имел сыновей: Сергея и Николая – московских купцов.
Погребен в Гурзуфе в построенной им церкви Успения Богородицы. В 1932 году, когда церковь снесли, его прах был перенесен на местное кладбище, могила не сохранилась.
