Будущий градостроитель родился в семье французского художника в Санкт-Петербурге, переехавшего в Москву. Начальное архитектурное образование и основы рисунка юный Осип получил у архитектора-итальянца Кампорезе. Затем он перешел в Архитектурное училище при Кремлевской экспедиции, возглавляемое М.Ф. Казаковым. Там даровитый ученик получил блестящую практику строительной техники у мастера на постройках в 1801-1806 гг., когда строилась Голицынская больница (Вторая градская на Калужской улице) и дом графа Разумовского на Гороховой улице (сейчас ул. Казакова).

В 1809-1810 гг. в Твери Осип Бове вместе с архитектором К.И.Росси принял участие в строительстве и отделке дворца для принца Георга Ольденбургского и его супруги великой княгини Екатерины Павловны, назначенного императором Александром I генерал-губернатором Ярославской, Тверской и Новгородской губерний и директором путей сообщения.

После пожара Москвы 1812 года была создана «Комиссия для строений в Москве». Туда вошел уже известный и энергичный «служащий в должности архитектора титулярный советник Осип Бове». В Комиссию поступало до 100 прошений в день на возведение новых зданий - «для приведения первопрестольного города в приличествующий вид». Архитектор Бове успевал руководить обновлением кремлевских башен и стен, возведением Гостиного двора, строительством жилых и казенных домов, параллельно исправляя архитектурные проекты, поданные в Комиссию, и планируя городские ансамбли.

В 1816 году Осип Бове подал в петербургскую Академию художеств список своих 34 зданий за подписью главнокомандующего генерала А.П. Тормасова, начальника восстановительных работ в Москве, и был утвержден в звании архитектора.

В 1818-1824 гг. архитектор Осип Бове создал проект Театральной площади перед Большим театром (тогдашним Петровским), заключив в трубу речку Неглинную. В 1820-1822 годах спланировал и разбил у Кремлевской стены над речкой Неглинной сад с гротом-раковиной, фонтаном и кофейней, обнесенный чугунной решеткой с барельефами, украшенными военными эмблемами в память о войне 1812 года. Параллельно архитектор Бове восстановил сожженный Петровский театр, ставший Большим театром, спланировал и выстроил Театральную площадь.

В 1824-1825 гг. оформил Манеж, придав ему «военный» облик фронтонами, колоннами дорического ордера и карнизом со скульптурным фризом с лепниной в виде военных эмблем.

В 1825 – 1828 году реконструировал Екатерининскую (Новоекатерининскую) больницу на Страстном бульваре в стиле ампир. Другой значимый объект архитектора Бове – Первая Градская больница (сейчас Городская больница №1 им. Н. И. Пирогова) была построена в 1828 -1833 гг. Ее изысканный портик опирается на гладкую стену, украшенную скульптурными рельефами.

В 1832 году архитектор Бове перестроил Церковь иконы Божией Матери «Всех скорбящих радость» на Большой Ордынке в стиле ампир.