W 1983 został powołany na sędziego Federalnego Trybunału Konstytucyjnego, złożył wówczas mandat poselski. W latach 1983–1987 był przewodniczącym pierwszego senatu i wiceprezesem trybunału. W 1987 objął urząd prezesa Federalnego Trybunału Konstytucyjnego, którym kierował do 1994. W międzyczasie był profesorem honorowym w Hochschule für Verwaltungswissenschaften Speyer (1984–1994) oraz na Uniwersytecie w Tybindze (1986–1994).

Prezydent federalny W trzecim głosowaniu w wyborach z 23 maja 1994 został przez Zgromadzenie Federalne wybrany na siódmego prezydenta Republiki Federalnej Niemiec. Uzyskał poparcie obu partii chadeckich oraz Wolnej Partii Demokratycznej. W 1999 nie ubiegał się o wybór na drugą kadencję. Urząd prezydenta sprawował od 1 lipca 1994 do 30 czerwca 1999.

W 1994 został zaproszony do Polski przez prezydenta Lecha Wałęsę na uroczyste obchody 50. rocznicy powstania warszawskiego. W swoim przemówieniu w Warszawie jako pierwszy niemiecki prezydent publicznie przeprosił Polaków za zbrodnie dokonane przez Niemców w czasie II wojny światowej. Był też pierwszym niemieckim prezydentem, który złożył wizytę w niemieckim nazistowskim obozie zagłady Auschwitz-Birkenau. W 1996 ustanowił w Niemczech Dzień Pamięci Ofiar Narodowego Socjalizmu.