Третий сын стольника и воеводы Иллариона Гавриловича Воронцова и Анны Григорьевны, урожденной Масловой. Младший брат графов Романа и Михаила Воронцовых. Дядя президента Российской академии наук княгини Екатерины Романовны Дашковой.
Службу начал поручиком лейб-гвардии Преображенского полка. С 1753 года – капитан. С 1755 года камер-юнкер при великом князе Петре Федоровиче. С 1760 года президент Вотчинной коллегии в Москве. В том же году возведен в графское достоинство Священной Римской империи. При вступлении на престол Петра III получил звание генерал-поручика.
При Екатерине II подал в отставку и поселился с семьей в имении Вороново, доставшемся ему вместе с приданым жены. Занялся обустройством усадьбы: им были выстроены усадебный дом, Спасская церковь, Голландский домик и др.
Владел многочисленными имениями по всей России, в том числе и в Москве. Ивану Илларионовичу Воронцову принадлежали вся территория от Рождественки до Неглинного проезда, владение на Петровке. В Московских усадьбах Воронцов также занимался строительством и усовершенствованиями. На Рождественке разбил сад с оранжереями, фонтанами и прудами.
В 1778-1782 годах был генерал-губернатором Владимирского наместничества, в 1779-1781 годах – Тамбовского наместничества, 1780-1781 годах – Пензенского наместничества, в 1782-1783 годах – Костромского наместничества.
Женат на племяннице царицы Натальи Кирилловны, дочери кабинет-министра при императрице Анне Иоанновне Артемия Петровича Волынского – Марии Артемьевне Волынской. Отца Марии казнили в 1740 году, а ее вместе с матерью отправили в Сибирь и постригли в монахини. Императрица Елизавета Петровна сняла с Марии монашеский обет и позволила ей вернуться в Москву.
От брака с Марией Артемьевной у Воронцова были дети: Артемий – крестный отец Александра Сергеевича Пушкина; Илларион – камер-юнкер; Анна – замужем за генерал-майором Василием Сергеевичем Нарышкиным; Евдокия.
Иван Илларионович Воронцов скончался в усадьбе Вороново Московской губернии, погребен там же.
