W 1981 ubiegał się o reelekcję. Jego głównymi rywalami byli François Mitterrand oraz Jacques Chirac. Wygrał pierwszą turę (28,32% głosów), jednak przed drugą nie uzyskał wsparcia gaullistów. Do drugiej tury wraz z nim przeszedł kandydat lewicy. Do porażki centrysty przyczynił się w dużej mierze Jacques Chirac, który celowo nie poparł go w drugiej turze. 10 maja 1981 Valéry Giscard d’Estaing przegrał wybory prezydenckie z kandydatem socjalistów, otrzymując poparcie wynoszące 48,24%.
Działalność po prezydenturze 20 maja 1981 w wieku 55 lat po siedmiu latach odszedł ze stanowiska prezydenta. W 1984 powrócił do niższej izby francuskiego parlamentu (utrzymując mandat w wyborach w 1986, 1988, 1993 i 1997). W 1986 objął stanowisko przewodniczącego rady regionalnej Owernii. W latach 1988–1996 przewodniczył Unii na rzecz Demokracji Francuskiej. Doprowadził do politycznego zbliżenia pomiędzy UDF i gaullistowskim Zgromadzeniem na rzecz Republiki. Od 1989 do 1993 zasiadał w Parlamencie Europejskim, w którym do 1991 był przewodniczącym Grupy Liberalnej, Demokratycznej i Reformatorskiej.
W wyborach prezydenckich w 1995 poparł oficjalnie kandydaturę Jacques’a Chiraca. W 2001 został mianowany na przewodniczącego Konwentu Europejskiego.