W roku następnym został starszym adiutantem przy sztabie okręgu i pełnił te obowiązki do 1902 r.
W 1902 r. został przeniesiony do służby w twierdzy Władywostok na stanowisko szefa jej sztabu. W 1904 r. otrzymał awans na pułkownika. Kierował pracami przy rozbudowie i umocnieniu fortyfikacji twierdzy, a w latach 1905–1910 w przygotowywaniu planu jej generalnego umocnienia. W 1913 r. został generalnym kwatermistrzem sztabu Nadamurskiego Okręgu Wojskowego. W momencie wybuchu I wojny światowej został generał-kwatermistrzem sztabu X armii, w listopadzie 1914 r. – szefem sztabu tejże. Za przygotowanie planu przełamania obrony niemieckiej pod Augustowem otrzymał Broń Świętego Jerzego. Jednak po dalszych walkach, w których X Armia ponosiła klęski, Budberg został przeniesiony na niezbyt znaczące stanowisko generała do poruczeń przy dowódcy I Armii. W 1915 r. powierzono mu dowodzenie najpierw 40, a następnie 70 dywizją piechoty. Był dwukrotnie ranny. W 1916 r. otrzymał awans na generała-lejtnanta.