31 sierpnia 1795 roku został ponownie wysłany do Włoch, gdzie zastąpił François Christophe'a Kellermanna w roli dowódcy francuskich oddziałów. Już w listopadzie dowodzone przez niego wojska odniosły zwycięstwo nad Austriakami pod Loano, ale Francuzi nie wykorzystali przewagi po bitwie z powodu zachowawczości dowódcy i ciężkich warunków zimowychChandler, str. 38. Schérer został zwolniony ze stanowiska dowódcy 23 lutego 1796 roku, zastąpił go gen. Napoleon Bonaparte.
Następnie przez wiele miesięcy pozostawał bez przydziału aż do objęcia stanowiska Generalnego Inspektora Jazdy w kilku kolejnych armiach.
W okresie od 22 lipca 1797 do 21 lutego 1799 roku pełnił funkcję ministra wojny. Po wybuchu wojny z II Koalicją ponownie objął dowództwo Armii Włoskiej. Odniósł zwycięstwo pod Pastrengo 26 marca, ale nie był w stanie powstrzymać postępów wojsk koalicyjnych. Został pokonany przez austriackiego gen. Pála Kraya w bitwie pod Magnano 5 kwietnia. Następnie zmuszony do odejścia na emeryturę, zastąpił go gen. Jean Moreau. Schérer musiał tłumaczyć się z klęski i utraty Włoch przed komisją śledczą.