С развитием сети железных дорог Общество Московско-Виндаво-Рыбинской железной дороги вело строительство новых железнодорожных линий. Оно было преобразовано из общества Рыбинско-Бологовской железной дороги, основанного в 1868 году.

В 1897 году Общество обязалось «построить железную дорогу нормальной колеи протяжением около 1030 вёрст для соединения возможно кратчайшим путём Москвы с Виндавой», ныне – порт Вентспилс в Латвии. Появление этой железной дороги связано с ростом внешнеторгового оборота России в конце XIX века. Московско-Виндавская железная дорога строилась в первую очередь для соединения центральной России с незамерзающими портами Балтики.

Станция Москва Московско-Виндавской железной дороги располагалась у Крестовской заставы. Вокзал построен по проекту известного петербургского архитектора С. Бржозовского (автора Витебского вокзала в Петербурге) под руководством архитектора Ю.Ф. Дидерикса. Фасад вокзала был выполнен в «русском» стиле, с использованием множества элементов архитектуры допетровской Руси. Здание состояло из трёх двухэтажных «теремов», соединённых одноэтажными переходами. Со стороны площади в вокзал вели три входа: слева – в зал III класса, в центре – в вестибюль багажного отделения и в двухсветные залы I и II классов, и правый – в парадную комнату. Здание вокзала и пассажирская платформа освещались электричеством, вырабатываемым собственной электростанцией, расположенной в подвале левого крыла здания. Для защиты пассажиров от непогоды над платформой был устроен металлический навес.

Вокзал был открыт для пассажиров 11 сентября 1901 года – на 2,5 месяца позже, чем движение по остальной железной дороге. Поэтому первое время поезда принимались к маленькому деревянному вокзалу станции Подмосковная (сейчас– платформа Красный Балтиец), находившейся в 7 километрах от ещё строившегося Виндавского вокзала.

Рижский вокзал – один из самых тихих в Москве, с него отправляются всего два поезда в сутки. Сохранявшийся до 1970-х годов металлический навес с массивными чугунными опорами придавал ему европейский вид, а расположение здания параллельно путям делали его «провинциальным». Поэтому вокзал стал декорацией ко многим отечественным фильмам. Здесь снимали сцены из «Семнадцати мгновений весны», «Вокзала для двоих», «Баллады о солдате», «Адмирала».

ХХ век мало изменил облик вокзала, только навес разобрали. Но своё имя вокзал менял чаще, чем другие вокзалы Москвы. Названный при открытии Виндавским, в 1930-м году он стал Балтийским, через 12 лет – Ржевским, а ещё через 4 года, в 1946 году – Рижским.