Służbę w nowo utworzonych organach bezpieczeństwa (Wszechrosyjska Komisja Nadzwyczajna do Walki z Kontrrewolucja, Spekulacją i Nadużyciami Władzy), zwana potocznie Czeka, lub Czieriezwyczajka) rozpoczął w kwietniu w 1921 roku od funkcji pomocnika dowódcy Specjalnego Batalionu Wojsk CzeKa na Ukrainie. Następnie pomocnik dowódcy 2 batalionu wojsk CzeKa na Ukrainie. Przez następne lata służył w wojskach GPU/OGPU jako dowódca różnych oddziałów wojsk konwojowych na Ukrainie. W 1936 roku został naczelnikiem 1 Oddziału 4 Wydziału Zarządu Ochrony Pogranicznej i Wewnętrznej (UPWO) w Ludowym Komisariacie Spraw Wewnętrznych Rosyjskiej Federacyjnej Socjalistycznej Republiki Radzieckiej, następnie do marca 1939 roku pełnił podobne stanowisko w Gruzińskiej Socjalistycznej Republice Radzieckiej, także w tym samym czasie pełnił obowiązki naczelnika sztabu wojsk Ochrony Pogranicznej i Wewnętrznej ów republiki. W marcu 1939 roku został szefem Zarządu Głównego Wojsk Konwojowych Ludowego Komisariatu Spraw Wewnętrznych Związku Radzieckiego (NKWD ZSRR). Po reorganizacji organów NKWD/Ludowego Komisariatu Bezpieczeństwa Państwowego Szarapow pełnił stanowisko szefa Zarządu Wojsk Konwojowych, następnie od czerwca 1941 do czerwca 1942 był szefem sztabu wojsk NKWD przydzielonych do 29 Armii.