
Родился в семье профессора химии. Юный Карл Гиппиус увлекался зоологией и архитектурой. В 1882 году поступил в Московское училище живописи, ваяния и зодчества. В 1889 году в 25 лет окончил МУЖВЗ с серебряной медалью и званием художника-архитектора и поступил на работу к известнейшему архитектуру Роберту Клейну, построившему Музей изобразительных искусств им. А.С. Пушкина и ЦУМ.
В 1895 -1896 годах выполнил проект «китайского» фасада и интерьеры чайного магазина купцов В.Н. и С.В. Перловых на Мясницкой №19 в стиле романтического историзма. Многие декоративные детали и материалы для фасада и интерьеров были доставлены из Китая. На коронацию императора Николая II приехал китайский посол Ли Хун Чанг, и потомственные чаеторговцы Перловы конкурировали за возможность принять его и показать роскошь и размах чайного дела в России – отделка магазина стала лучшей рекламой, принеся огромный успех: многие приходили посмотреть «чайный дом», а уходили с чаем. Когда «Чайный магазин» обветшал, Жанна Киртбая, внучка Перлова, отреставрировала здание, восстановив обветшавшие интерьеры.
В этот же период Карл Гиппиус спроектировал и построил особняк А.А. Бахрушина на Зацепском валу (в настоящее время Государственный театральный музей им. А.А. Бахрушина). Параллельно Карл Гиппиус перестроил особняк К.П. Бахрушина на Новокузнецкой улице № 27.
В 1896 – 1917 годах был штатным участковым архитектором при Московской городской управе.
С 1896 году вступил в Московское архитектурное общество.
В 1898 - 1901 годах построил особняк купца Н.И. Казакова, торговца мукой, в Староконюшенном переулке № 23.
В 1899 – 1901 годах построил сиротский приют имени Бахрушиных в Первом Рижском переулке № 2.
В 1900 – 1901 годах построил доходный дом Товарищества А. Бахрушиных на Тверской № 12.
В 1901 году Карл Гиппиус построил собственный доходный дом в Теплом переулке (ныне ул. Тимура Фрунзе, д. 20).
1901- 1904 годах построил комплекс многоквартирных доходных домов «Товарищества А. Бахрушина и сыновей» в Козицком переулке.
В 1903 году построил дом А.С. Бахрушиной (А.П. Бахрушина) на Воронцовом поле и занимался отделкой интерьеров помещений Учетного банка в здании Старого гостиного двора в Хрустальном переулке.
В 1903 – 1905 годах участвовал в строительстве зданий Гостиного двора на Варварке.
В 1904 – 1907 году построил Пятницкое попечительство о бедных с церковью царицы Елены в Третьем Монетчиковском переулке № 4-6.
В 1905 году выстроил здание Мещанской полицейской части на улице Щепкина № 28.
Карл Гиппиус был одним из известнейших аквариумистов Москвы. В 1910 году он устроил в собственном доме большой аквариум, открытый для посещения публикой и дополнявший экспозицию Московского зоопарка. Также он увлекался фотографией, став в 1910 году председателем Московского фотографического общества.
В 1910 году перестроил дом во владении «Товарищества А. Бахрушина и сыновей» под театр на Малой Дмитровке № 17. В этом же году перестройка церкви Живоначальной Троицы при 2-м Гренадерском полку при Спасских артиллерийских казармах на Садовой-Спасской улице.
В 19013 – 1915 годах стал членом Строительного совета при Московской городской управе.
В 1919 году Карл Гиппиус стал штатным архитектором Московского зоопарка.
В 1925 – 1927 году он построил на присоединенной территории «Морозовского сада», ставшей новой территорией Московского зоопарка, Обезьянник, «Турью горку», «Остров зверей» и «Полярный мир» на улице Большая Грузинская № 1.
В 1927 – 1928 годах Карл Гиппиус построил дачный посёлок научных сотрудников «Соломенная сторожка», куда переехал жить.
Карл Гиппиус скончался на следующий день после объявления войны. Похоронен на Ваганьковском кладбище.