В 1870 году окончил физико-математический факультет Московского университета и остался в Университете в качестве помощника астронома профессора Ф.А. Бредихина. 
Вскоре Карл Мазинг увлекся педагогическими задачами и идеями профессионально-технического просвещения и образования народа. 

В 1876 году он активно занимается просветительской работой при Политехническом музее.  
В 1876-1877 годах году он написал первый курс математики для реальных училищ  - учебники «Геометрия» (1876) и  «Стереометрия» (1877). 
В 1877 Карл Мазинг основал первое частное реальное училище, ставшее одним из лучших в Москве – сейчас это школа №57. К своей деятельности он привлекает лучших педагогов : мальчиков учили математике, физике, химии, ремеслу.
В 1889 Карл Мазинг году выступает на Первом  съезде русских деятелей по техническому и профессиональному образованию.
В 1893 году он становится членом комиссии по техническому образованию Московского отделения Русского технического общества (РТО), в 1896 году его председателем. Он инициировал открытие Вечерних рабочих классов (Пречистенские, Замоскворецкие, при фабрике «Гюбнер, Тиль и Ко»), ставшими рабфаками в 1920 годах. 
В 1895 Карл Мазинг организовал Второй съезд русских деятелей по техническому и профессиональному образованию в Москве. 
В 1897 году учредил Общество распространения коммерческого образования, которое в 17 пунктах открыло  курсы для низших торговых служащих в Москве. Каждый год на курсах учились  больше 8 000 слушателей. Из этого общества выросли Высшие Коммерческие курсы с экономическим, химико-технологическим и электропромышленным факультетами, лабораториями и научными кабинетами – сейчас Коммерческая академия.  
Карл Мазинг был гласным Московской городской Думы, где был председателем железнодорожной комиссии, и Уездного Земского собрания. 
В 1909 – 1913 годах Карл Мазинг в Транспортной комиссии Думы активно отстаивал необходимость строительства «Подземных железных дорог». Авторы проекта инженеры  К.К. Рудин и Е.К. Кнорре вспоминали его дотошность: "Предусмотрено ли отопление вагонов? Скорость движения поездов на разных участках трассы? Качество металла? Высота платформы? Какие здания могут пострадать во время строительства? Будет ли изменена трасса ради сохранения памятников архитектуры?" Его идеи были использованы при  строительстве метро в 1930-х годах.  
В 1912 году Карл Мазинг построил шестиэтажный доходный дом  на углу Антипьевского и Малого Знаменского переулков. Средств на постройку было мало - брались кредиты в банках, занимались деньги у родственников и друзей. Проект был разработан архитектором Г.Ф. Ярцевым при активном участии Карла Мазинга. Обязательное условие строительства дома -  подчеркивать красоту церкви святого Антипия, ради чего было уступлено городу несколько саженей земельного частного участка, чтобы выпрямить красную линию переулков. Позднее были построены рядом здания реального и коммерческого училищ с квартирами для преподавателей и «общежитием» для учащихся. Во время Первой мировой войны там были госпиталь и фельдшерские курсы. 
В 1914 – 1917 годах Карл Мазинг был членом  Бюро объединенных технических организаций и Совета Московского Комитета технической помощи. 
В январе 1917 года Карл Мазинг заболел воспалением легких и в марте уехал в Крым, но вскоре вернулся в Москву.  
После 1917 года Карл Мазинг заведовал учебной частью на рабфаке Московской Горной академии». 
С 1918 года Карл Мазинг принимал участие в организации Народного Университета в Кисловодске. 
В 1920 году по его инициативе открыты Электротехнические Курсы имени Артема для рабочих при управлении Северо-Кавказской железной дороги, которыми он руководил до 1922 года.  
Его 75-летие было торжественно отмечено Горной академией – рабфаковцы несли его на руках и осыпали цветами. 

Карл Мазинг скончался от кровоизлияния 12 июля 1926 года в Москве, незадолго перед смертью закончив писать и сдав в печать учебник по математике.