W roku 1731 mógł kupić sobie pałac w Grosbois.
Jako secrétaire d'État aux Affaires étrangères, Chauvelin nastawiony był na konkurencję, a w razie potrzeby walkę z Austrią. Był również sceptyczny co do sensu utrzymywania aliansu z Wielką Brytanią. Fleury, pacyfista często negocjował za jego plecami (en sous-main), jak w roku 1735, gdy kardynał prowadził tajne rokowania pokojowe z Austrią, podczas gdy Chauvelin prowadził własne, związane z wojną z tym państwem. Premier brytyjski Robert Walpole (1721–1742) wielokrotnie skarżył się Fleury’emu na prowokacyjne zachowanie Chauvelina. 20 lutego 1737, Chauvelin, którego Fleury już nie potrzebował, został odesłany do swego zamku w Grosbois, niedaleko Bourges.
1737–1762 Chauvelin próbował zyskać poparcie Ludwika XV, gdy w styczniu roku 1743 Fleury zmarł, lecz popadł tylko w jeszcze większą niełaskę. Wycofał się do Issoire, niedaleko Riom. Jean de Viguerie twierdzi, że powodem było to, że król żałował, że tak często zwierzał się Chauvelinowi.
W kwietniu roku 1746 mógł wrócić do Paryża, ponieważ wstawili się za nim René Louis de Voyer de Paulmy d’Argenson i Jean-Frédéric Phélypeaux, lecz Chauvelin nie uczestniczył już czynnie w życiu politycznym.