Od 1918 współpracownik Czeka w Piotrogrodzie.

Był w osobistej ochronie Lwa Trockiego będąc komendantem pancernego pociągu Lwa Trockiego, z którego Trocki, przywódca komunistycznej Armii Czerwonej, dowodził wojskami komunistycznymi w czasie wojny domowej w Rosji. Do 1923 roku zajmował wyższe funkcje w Czeka-GPU w republikach Azji Środkowej w czasie komunistycznego podboju tych terenów.

Od 13 października 1923 – naczelnik największego w latach 20. sowieckiego obozu koncentracyjnego Sołowieckiego Obozu Specjalnego Przeznaczenia (SŁON) założonego z inicjatywy Józefa Unszlichta na Wyspach Sołowieckich (Sołowkach).

Od 20 maja 1929 roku Naczelnik 3-go Wydziału Specjalnego Departamentu OGPU (kontrwywiad zagraniczny).

Od 25 kwietnia do 16 czerwca 1930 – pierwszy Naczelnik Zarządu sowieckich obozów koncentracyjnych – Gułag, które za jego czasów obejmowały następujace struktury obozów: sołowiecki, wiszerski, północny, kazachstański, dalekowschodni, syberyjski, środkowoazjatycki.

W 1930 roku organizował ekspedycję OGPU na wyspę Wajgacz na Morzu Karskim w celu poszukiwań złóż metali kolorowych i założenia tam kolejnego komunistycznego obozu pracy przymusowej.

W latach 1932–1937 w różnych departamentach NKWD zajmujących się szyframi, kryptografią i organizowaniem szyfrowanej łączności z zagranicznymi przedstawicielstwami ZSRR.