W grudniu 1920 przeniesiony do wywiadu wojskowego Registrupr, od 1921 Razwiedupr Armii Czerwonej. W nagrodę za sukcesy na Łotwie mianowany zastępcą ówczesnego szefa Razwiedupru Arvīdsa Zeibotsa. W 1924 mianowano go szefem Razwiedupru. Brał aktywny udział w przygotowaniach do nieudanego komunistycznego puczu w Estonii w 1924. Faktyczny organizator systemu wywiadu wojskowego Armii Czerwonej. Był inicjatorem nowoczesnego dekryptażu, strategicznego wywiadu radiowego, twórcą sieci zagranicznej agentury. Osobiście dobierał i weryfikował kadry. Do agentów zwerbowanych przez Bierzina należeli Richard Sorge i Leopold Trepper.
Od kwietnia 1935 do czerwca 1936 drugi zastępca dowódcy Specjalnej Armii Dalekowschodniej, marszałka Związku Radzieckiego Wasilija Blüchera ds. wywiadu. Po wybuchu w lipcu 1936 hiszpańskiej wojny domowej i rozpoczętym jesienią 1936 zaangażowaniu ZSRR (i jego służb specjalnych) w ten konflikt, od października 1936 główny sowiecki doradca wojskowy przy armii Republiki Hiszpanii (ps. Griszyn). W końcu maja 1937 odwołany do ZSRR, awansowany do stopnia komisarza armijnego II rangi i mianowany ponownie szefem Razwiedupru, którym pozostawał do 1 sierpnia 1937.