Front wschodni Jego jednostkę wyznaczono do obrony pól naftowych w Rumunii, które były obiektem nalotów samolotów radzieckich. Bombowce radzieckie latały tam bez osłony i były dziesiątkowane przez myśliwce Luftwaffe. 24 lipca 1941 Rall odniósł pierwsze zwycięstwo powietrzne na froncie wschodnim. Wraz ze swoją jednostką walczył następnie na Krymie i nad Donem. Do 28 listopada 1941 jego konto powiększyło się do 36 strąceń. Tego dnia, po zestrzeleniu 36 samolotu wroga koło Rostowa, zapomniał o kardynalnej zasadzie oglądania się do tyłu, w wyniku czego został skutecznie ostrzelany przez bocznego właśnie zestrzelonego radzieckiego myśliwca i ciężko ranny podczas przymusowego lądowania (uraz kręgosłupa).
Na front powrócił dopiero po 9 miesiącach. Powrót wypadł bardzo udanie - w sierpniu 1942 Rall zgłosił zestrzelenie 26 maszyn przeciwnika, we wrześniu ponownie objął dowództwo 8./JG 52. Po 65. zwycięstwie 4 września 1942 odznaczono go Krzyżem Rycerskim. Niespełna dwa miesiące później otrzymał Liście Dębowe, co było nagrodą za uzyskanie setnego zestrzelenia. Potem nastąpiła dłuższa przerwa w lotach bojowych. Powodów był kilka: najpierw Rall otrzymał urlop w czasie którego ożenił się, a potem skierowano go do szkolenia młodych pilotów myśliwskich.