Wojna Latem 1940 Mengele otrzymał przydział do jednostki wojskowej w Kassel, jako oficer medyczny. Spędził tam tylko miesiąc. W sierpniu awansował do stopnia SS-Untersturmführera i został wcielony do Waffen-SS. W czerwcu 1941 został wysłany na Ukrainę, gdzie po raz pierwszy wziął udział w walkach i gdzie za bohaterstwo wykazane podczas ewakuacji załogi trafionego czołgu, przyznano mu Krzyż Żelazny drugiej klasy. Następnie przebywał pewien czas w okupowanej Polsce jako pracownik ekspozytury Urzędu Genealogicznego do spraw Rasy i Osadnictwa, podlegającego bezpośrednio Heinrichowi Himmlerowi. W Polsce, na zajętych przez Niemców terenach zespoły lekarzy SS przeprowadzały kontrolę mieszkańców pod względem ich przyszłej przydatności rasowej.

W styczniu 1942 Mengele powrócił na front wschodni jako członek służby medycznej dywizji Waffen-SS Wiking (5 Dywizja Pancerna SS Wiking). Latem 1942 po pięciodniowej bitwie o Batajsk, otrzymał Krzyż Żelazny pierwszej klasy – za wyciągnięcie pod ostrzałem dwóch rannych żołnierzy z płonącego czołgu i udzielenie im pierwszej pomocy. Otrzymał także Czarną Odznakę za Rany oraz Medal za Opiekę nad Narodem Niemieckim.