При введении персональных воинских званий Павел Семёнович Рыбалко был аттестован как полковник. С февраля 1936 по июль 1937 года являлся помощником командира 8-й Туркестанской (с июля 1936 года – 21-я) горно-кавалерийской дивизии, дислоцированной в Фергане на территории Среднеазиатского военного округа. С июля 1937 года по октябрь 1939 года военный атташе в Польше. 20 февраля 1940 года ему было присвоено очередное воинское звание комбриг, а 4 июня того же года – звание генерал-майора. В апреле-декабре 1940 года являлся советским военным атташе в Китае, после чего поступил в распоряжение Разведывательного управления Генерального штаба, в распоряжении Генштаба он находился вплоть до декабря 1941 года.