W 1931 pogorszył się stan jego zdrowia po upadku z konia oraz w związku ze śmiercią żony. Z tego powodu został przeniesiony na mało znaczące stanowisko kierownika delegacji wojskowej przy Międzynarodowej Genewskiej Konferencji Rozbrojeniowej. Nieoczekiwanie dostęp do prezydenta Hindenburga wykorzystał w celu podkopania pozycji swoich przeciwników. W 1933 został generałem piechoty i ministrem Reichswehry. Po dojściu do władzy Hitlera zadeklarował wobec niego lojalność, przyjmując „paragraf aryjski” zabraniający Żydom służby w armii i włączający symbol swastyki do jej insygniów. Choć były to głównie symboliczne gesty – przykładowo na nalegania prezydenta Hindenburga żydowscy weterani nie mogli zostać wydaleni, a rzeczywiście ze służby zwolniono jedynie ok. siedemdziesięciu żołnierzy – i tak były znaczącymi ustępstwami na rzecz nazistowskiej ideologii. Początkowo cieszył się dużym autorytetem wśród wojskowych, ale zaczął go tracić z powodu ugodowej postawy wobec NSDAP i usprawiedliwianiu wydarzeń podczas nocy długich noży. W sierpniu 1933 awansował na generała pułkownika. Od maja 1935 roku był ministrem wojny i naczelnym dowódcą Wehrmachtu. 1 kwietnia 1936 roku został feldmarszałkiem. Poparcie Hitlera zaczął tracić z powodu za mało stanowczej jego zdaniem postawy podczas militaryzacji Nadrenii.