Предки по отцовской линии из немцев-колонистов, перебравшихся в Лифляндию (Латвию) во второй половине XVIII века, а по материнской — латыши по фамилии Эргле.
Интересно, что в семье Отто Юльевича Шмидта говорили на трёх языках: русском, латышском и немецком. Сам он позднее заявлял, что относил себя к русской культуре.
В детстве работал в лавке письменных принадлежностей. Учился в классической Могилёвской мужской гимназии. Деньги на обучение одарённого мальчика в гимназии нашлись у его латышского дедушки Фрициса Эргле.
Окончил Киевскую 2-ю гимназию с золотой медалью (1909) и физико-математический факультет Киевского университета (1913). После окончания университета был оставлен для подготовки к профессорскому званию и под руководством профессора Д. А. Граве начал свои исследования в теории групп. С 1916 — приват-доцент Киевского университета.
С октября 1917 — начальник управления по продуктообмену Наркомата продовольствия, в 1918—1920 — член коллегии Наркомпрода. В 1918 вступил в РСДРП (интернационалистов), в 1918—1919 — член ЦК. В 1919 вместе со всей партией был принят в РКП(б), при этом в его партийный стаж зачли время пребывания в партии интернационалистов.
В 1921—1924 годах был заведующим Государственным издательством, занимался организацией реформы системы образования, был одним из основателей и главным редактором Большой советской энциклопедии (1924—1942).
В 1928 году О. Ю. Шмидт принимал участие в первой советско-германской памирской экспедиции, организованной АН СССР. Целью экспедиции было изучение и восхождение на наиболее высокие вершины Западного Памира.
В 1929 году основал кафедру высшей алгебры физико-математического факультета МГУ (с 1933 г. — механико-математический факультет МГУ), которой заведовал по 1949 год.
С 1932 по 1950 годы был главным редактором журнала «Математический сборник».
В 1930—1934 годах руководил знаменитыми арктическими экспедициями на ледокольных пароходах «Седов», «Сибиряков» и «Челюскин». В 1930—1932 годах — директор Всесоюзного арктического института, в 1932—1938 годах — начальник Главного управления Северного морского пути (ГУСМП).
С 28 февраля 1939 года по 24 марта 1942 года был вице-президентом АН СССР.
Разрабатывал космогоническую гипотезу образования тел Солнечной системы в результате конденсации околосолнечного газово-пылевого облака.
Монография «Абстрактная теория групп» (1916, 2 изд. 1933) оказала значительное влияние на развитие этой теории. Основным достижением в этой области является теорема об изоморфизме прямых разложений бесконечных операторных групп с конечным главным рядом (1928). Шмидт является основателем московской алгебраической школы, руководителем которой он был в течение многих лет. Она выросла из семинара по теории групп, организованного им в 1930 и превратившегося в центр деятельности советских алгебраистов в этой области.
Внёс вклад в изучение северных полярных территорий. В 1932 был начальником экспедиции на пароходе ледокольного типа «Сибиряков», совершившей первое в истории плавание по Северному морскому пути за одну навигацию. Инициатор и идейный вдохновитель создания «Большой советской энциклопедии», являлся главным редактором по поручению правительства Советского Союза. Был инициатором создания академического института геофизики.
Отто Шмидт был трижды женат:
Жена — Вера Фёдоровна Шмидт (Яницкая), сестра библиотечного деятеля, книговеда, библиографа, историка, географа, статистика, доктора географических наук, профессора Николая Фёдоровича Яницкого.
- Сын - Владимир Оттович Шмидт (2 марта 1920 — 25 декабря 2008), кандидат технических наук, профессор МГИУ.
- Внучка — Вера Владимировна Шмидт (3 февраля 1944 — 7 ноября 2014) — педиатр.
- Внук — Фёдор Владимирович Шмидт (род. 3 октября 1946) — врач-проктолог.
Жена - Маргарита Эммануиловна Голосовкер (19 апреля 1889 — 8 ноября 1955), музеевед и литературовед, заведующая сектором художественной иллюстрации Института мировой литературы АН СССР (1935—1949), автор монографии «М. Ю. Лермонтов: жизнь и творчество» (М.: Искусство, 1941); сестра философа и переводчика Я. Э. Голосовкера.
- Сын - Сигурд Оттович Шмидт (15 апреля 1922 — 22 мая 2013) — советский и российский историк.
Жена - Александра Александровна Горская (1906—1995), участница экспедиции на пароходе «Челюскин» (в списках значится как уборщица), награждена орденом Красной Звезды.
- Сын - Александр Оттович Шмидт (15 сентября 1934 — 11 июня 2010).
