W wyniku skandalu dekoracyjnego, z którym był związany zięć prezydenta Jules’a Grévy’ego, rząd Rouviera podał się do dymisji zaledwie po kilku miesiącach rządzenia. Podczas objęcia urzędu premiera Francji przez Pierre’a Tirarda Rouvier został mianowany na funkcję ministra finansów. Urząd ten sprawował także w gabinetach Charles’a de Freycineta, Émile’a François Loubeta i Alexandre’a Ribota. W wyniku tzw. skandalu panamskiego w 1892 zrezygnował z urzędu.
W 1902 powrócił na stanowisko ministra finansów, obejmując tę funkcję w radykalnym rządzie Émile’a Combes. Wraz z jego odejściem z funkcji premiera 24 stycznia 1905 Rouvier ponownie został mianowany premierem Francji. W czasie jego rządów wprowadzono reformę emerytalną, podatek dochodowy, rozdzielenie Kościoła od państwa. Kwestie te były szeroko dyskutowane na forum publicznym. Mimo prowadzenia aktywnej polityki wewnętrznej Rouvier skupił się przede wszystkim na polityce zagranicznej. Za jego kadencji dokonano tajnego porozumienia z Hiszpanią w sprawie Maroka, a także zawarto porozumienie z Anglią.