W latach 1937–1939 był ostatnim attaché wojskowym ZSRR w II Rzeczypospolitej, a w latach 1939–1940 attaché wojskowym ZSRR w Chinach.

W 1942 był dowódcą 5 Armii Pancernej, w latach 1942–1943 dowodził 3 Armią Pancerną, a w latach 1943–1946 3 Gwardyjską Armią Pancerną, z którymi walczył na Frontach: Briańskim, Południowo-Zachodnim, Centralnym, Woroneskim, 1 Białoruskim i 1 Ukraińskim. Brał udział w wielu działaniach bojowych, w tym zaczepnych w rejonie Charkowa, Kijowa, Żytomierza, Proskurowa, Lwowa, Radomska, Piotrkowa Trybunalskiego, Częstochowy, Wrocławia, Opola, Dolnego Śląska (w tym Lubania), Berlina, Drezna i Pragi. Czołgi Rybałki były główną siłą uderzeniową w tych operacjach.

W 1945 został mianowany marszałkiem wojsk pancernych. Od 1947 był głównodowodzącym wojskami pancernymi i zmechanizowanymi ZSRR.

W latach 1946–1948 był deputowanym do Rady Najwyższej ZSRR 2. kadencji.

Zmarł po długiej chorobie 19 lutego 1948 w Moskwie. Został pochowany na Cmentarzu Nowodziewiczym, a na jego grobie wzniesiono pomnik. Pomnik upamiętniający marsz. Pawła Rybałki znajduje się również w Moskwie na ulicy jego imienia oraz w Pradze.

W 1984 z okazji 90.