W tym czasie był jednocześnie członkiem KO KPRP oraz instruktorem partyjnym KC KPRP w Lublinie. W latach 1923–1937 przebywał głównie we Francji (wyjechał na sfałszowanym paszporcie wystawionym na nazwisko Fiszer), należał do Francuskiej Partii Komunistycznej (był członkiem jej Komitetu Centralnego w latach 1924–1925). Studiował na Uniwersytecie Paryskim i w Szkole Nauk Politycznych w Paryżu. W 1928 uzyskał doktorat z ekonomii.
Po przyjeździe do ZSRR, w okresie tzw. „wielkiej czystki”, został aresztowany przez NKWD i osadzony na Łubiance jako domniemany imperialistyczny agent. Jego zeznania miały być wykorzystane w procesie KPP, do którego ostatecznie nie doszło. Zygmunt Modzelewski odmawiał jednak złożenia fałszywych zeznań, dotrwał w śledztwie do upadku Nikołaja Jeżowa i w lipcu 1939 został zwolniony i zrehabilitowany. W październiku 1939 podjął pracę jako tłumacz i redaktor. Działał w Związku Patriotów Polskich i przy tajnym Centralnym Biurze Komunistów Polski przy Komitecie Centralnym WKP (b). W maju 1943 zaangażował się w formowanie 1 Polskiej Dywizji Piechoty im. Tadeusza Kościuszki w obozie w Sielcach nad Oką. W stopniu kapitana został lektorem w Sekcji Politycznej Dywizji. W 1944 został pierwszym dyrektorem Agencji „Polpress”.