Od 1919 był pracownikiem sekretariatu Rady Komisarzy Ludowych RSFRR.

Od maja 1919 razem z Mienżyńskim, Łanderem, Artuzowem i Feldmanem dodatkowo pełnił służbę jako specjalny pełnomocnik WCzK. Od 1920 do 1921 był zastępcą szefa Zarządu Wydziału Specjalnego WCzK (kontrwywiad wojskowy), jako szef grup operacyjnych wyjeżdżał na Front Zachodni i do Kronsztadu.

Od stycznia 1921 był szefem 16 Oddziału Specjalnego WCzK (kontrwywiad w armii), od kwietnia 1921 specjalnym pełnomocnikiem do najważniejszych spraw przy szefie Tajnego Zarządu Operacyjnego (SOU) WCzK-GPU, szefem Specjalnego Biura do spraw zsyłek administracyjnych elementów antyradzieckich i inteligencji przy Tajnym Zarządzie Administracyjnym GPU. W latach 1923–1929 był zastępcą szefa, a od października 1929 – szefem Zarządu Tajnego (od marca 1931 Tajnego Zarządu Politycznego) Wydziału OGPU. Od maja 1930 był zastępcą szefa Tajnego Zarządu Operacyjnego (SOU) OGPU. Z racji pełnionych funkcji był w bliskich stosunkach ze znanymi pisarzami i artystami, m.in. z Władimirem Majakowskim, Borisem Pilniakiem i Leopoldem Awierbachem.