W latach 1990–1992 pełnił funkcję zastępcy sekretarza krajowego partii chadeckiej, później do 1994 był dyrektorem partyjnego pisma „Il Popolo”.
Po rozwiązaniu jego ugrupowania działał we Włoskiej Partii Ludowej, przewodniczył frakcji parlamentarnej tej formacji. W październiku 1998 powrócił w skład rady ministrów (kierowanej przez Massima D’Alemę) jako wicepremier. W grudniu 1999, w drugim rządzie tego samego premiera, został ministrem obrony. Stanowisko to zajmował także w gabinecie Giuliana Amato (do czerwca 2001).
Po kolejnych przekształceniach partyjnych należał do stronnictwa Margherita, z którym w 2007 przystąpił do Partii Demokratycznej. W 2008 zakończył sprawowanie mandatu deputowanego – nie ubiegał się o reelekcję. 5 października 2011 parlament powołał go na funkcję sędziego Sądu Konstytucyjnego.
W styczniu 2015, po rezygnacji Giorgia Napolitano ze stanowiska prezydenta, Sergio Mattarella został przez premiera Mattea Renziego wskazany jako kandydat na ten urząd w wyborach prezydenckich. 31 stycznia 2015 w czwartym głosowaniu liczącego 1009 członków zgromadzenia elektorów (deputowanych, senatorów i przedstawicieli regionów) został wybrany na prezydenta Włoch, otrzymując 665 głosów.