Następny przydział Bayerlein otrzymał w Afryce Północnej. 30 sierpnia 1942 roku przejął dowództwo od generała Walthera Nehringa w czasie bitwy pod Alam Halfa. Później służył pod feldmarszałkiem Erwinem Rommlem oraz generałem Wilhelmem von Thomą. Samodzielne dowództwo otrzymał znowu 4 listopada 1942 roku, gdy Brytyjczycy wzięli do niewoli generała von Thomę pod El Alamein. Kiedy Rommel opuścił Tunezję w marcu 1943 roku, po nieudanym ataku pod Medenine (operacja Capri), Bayerlein został niemieckim oficerem łącznikowym w sztabie włoskiego generała Giovanni Messe. W praktyce Bayerlein nie zawsze zgadzał się ze swoim nowym przełożonym i często działał na własną rękę. W trakcie walk w Afryce Bayerlein dorobił się reumatyzmu. Z tego powodu został odesłany na urlop zdrowotny do Włoch, jeszcze przed kapitulacją niemieckich jednostek w Afryce 12 maja 1943 roku.
W październiku 1943 roku Bayerlein został przeniesiony na front wschodni jako dowódca 3 Dywizji Pancernej. Wbrew rozkazowi Adolfa Hitlera przełamał radzieckie okrążenie pod Kirowohradem. 10 stycznia 1944 roku zostaje mianowany dowódcą nowo utworzonej Dywizji Panzer Lehr.