Po ataku na Holandię Barbie służył w VI sekcji (wywiad zagraniczny) haskiej komendy Sipo-SD pracując m.in. nad planami inwazji na Wielką Brytanię. Wkrótce został jednak przeniesiony do biura B4 (sprawy żydowskie) IV sekcji (Gestapo). Uczestniczył w działaniach przeciwko Żydom, masonom i niemieckim emigrantom. Po przejściu do komendy w Amsterdamie brał udział w akcji w miejscowym getcie dowodząc plutonami egzekucyjnymiTom Bower, Klaus Barbie, Butcher of Lyons, London, Corgi Books, p. 153..
Między latem 1941 a wiosną 1942 prawdopodobnie przebywał na okupowanych terenach Związku Radzieckiego, gdzie służył w oddziale SS zwalczającym partyzantkę.
Służba w okupowanej Francji Wiosną 1942 znający język francuski SS-Ostuf Klaus Barbie został przeniesiony do leżącego około 10 km od granicy z neutralną Szwajcarią Gex. Jego zadaniem było porwanie Alexandra Foote'a, radzieckiego agenta w Genewie. Misja nigdy nie została zrealizowana, ponieważ Foote opuścił miasto. W czerwcu 1942 Barbie został oddelegowany do KdS Dijon, skąd wysłano go jako agenta do Charbonnières-les-Bains w wolnej strefie.