Родился в Ревеле (ныне Таллинн)  в семье шкипера рыбачьего судна. В молодости работал приказчиком в петербургских музыкальных магазинах Ф.Т.Стелловского (1826–1875) и А.Битнера; с 1859 заведующий нотным отделом музыкальной фирмы братьев Шильдбахов в Москве. С начала 1860-х годов становится близким другом Н.Г.Рубинштейна, П.И.Чайковского и входит в кружок группировавшихся вокруг них московских музыкальных деятелей. 

10 августа 1861 открыл музыкальный магазин на углу Большой Дмитровки и Столешникова переулка (а в конце 1880-х годов переехал на Неглинную улицу). Тогда же начал издавать ноты, а с 1866 – книги о музыке; в 1867 основал собственную нотопечатню.

В 1870–1903 фирма Юргенсона приобрела около 20 мелких музыкально-издательских фирм. Юргенсон выпускал свои издания большими тиражами и по общедоступным ценам.  В 1903 при главном нотном магазине на Неглинной улице была создана первая бесплатная нотная читальня.

Фирма Юргенсона выпустила первые в России полные собрания фортепианных сочинений Мендельсона, Шумана, Шопена, издала все сонаты Бетховена, клавиры опер Вагнера, Верди и др.  Юргенсон был первым и практически единственным издателем сочинений Чайковского, у него вышли собрания сочинений Алябьева, Аренского, многие произведения Глинки, Даргомыжского, Балакирева, Бородина и др. К редактированию нотных текстов нередко привлекались крупные музыканты – Н.Г.Рубинштейн, Балакирев, Танеев, Чайковский. Юргенсон имел разветвленные связи с зарубежными издателями, в 1897 открылось отделение фирмы в Лейпциге. Большое значение имела инициатива Юргенсона в области издания духовной музыки: благодаря его деятельности на рубеже 1880-х годов была отменена цензура Придворной капеллы в данной области,  и с этого времени фирма стала главным публикатором старых и новых русских духовно-музыкальных произведений, (в частности, было выпущено первое собрание духовно-музыкальных сочинений Бортнянского под редакцией Чайковского).

Всего же до 1912 издательство выпустило в свет 28 партитур опер и балетов, около 300 партитур оркестровых произведений, 150 оперных клавиров, 2200 духовных хоров, более 200 книг о музыке.