Od maja 1991 do października 1994 sprawował urząd premiera Nadrenii-Palatynatu.

W czerwcu 1993 wybrany na przewodniczącego SPD, zastąpił pełniącego obowiązki Johannesa Raua. W listopadzie 1995 nie został wybrany na kolejną kadencję – na czele partii stanął wówczas Oskar Lafontaine. Został natomiast jednym z wiceprzewodniczących SPD. W międzyczasie był kandydatem socjaldemokratów na kanclerza w wyborach parlamentarnych w 1994, które jego formacja przegrała z chadekami Helmuta Kohla. Rudolf Scharping uzyskał w tych wyborach mandat posła do Bundestagu, który odnawiał w 1998 i 2002, zasiadając w niższej izbie niemieckiego parlamentu do 2005. Od 1994 do czasu wejścia w skład rządu przewodniczył frakcji deputowanych SPD. W latach 1995–2001 był przewodniczącym Partii Europejskich Socjalistów.

27 października 1998 objął urząd ministra obrony w pierwszym gabinecie kanclerza Gerharda Schrödera. Sprawował go do 18 lipca 2002, został odwołany na kilka miesięcy przed kolejnymi wyborami. Doszło do tego po ujawnieniu niejasnych powiązań finansowych ministra z PR-owcem Moritzem Hunzingerem (od którego polityk otrzymał w trakcie pełnienia funkcji honorarium w wysokości 140 tys. marek niemieckich). Również wcześniej był publicznie krytykowany za różne zachowania.