W 1988 i 1994 bez powodzenia kandydował w wyborach prezydenckich.
W 1995 objął mandat posła do Parlamentu Europejskiego (po akcesji Finlandii do Unii Europejskiej), w związku z czym zrezygnował z zasiadania w parlamencie krajowym (deputowanym do Eduskunty był później formalnie przez tydzień w 1999). W 1996, 1999 i 2004 uzyskiwał reelekcję w wyborach europejskich. W PE od 1997 do 2004 sprawował funkcję wiceprzewodniczącego grupy Partii Europejskich Liberałów, Demokratów i Reformatorów.
W wyborach krajowych w 2007 ponownie został wybrany do Eduskunty. W drugim rządzie Mattiego Vanhanena objął urząd ministra handlu zagranicznego i rozwoju. Utrzymał zajmowane stanowisko również w powołanym 22 czerwca 2010 rządzie Mari Kiviniemi. Z parlamentu krajowego i następnie z rządu odszedł w 2011.
W 2012 był kandydatem swojego ugrupowania w wyborach prezydenckich (w pierwszej turze głosowania otrzymał 17,5% głosów, zajmując 3. miejsce). W 2014 ponownie wybrany do Parlamentu Europejskiego. W 2016 odszedł z Partii Centrum, do 2017 przewodniczył nowo powołanemu ugrupowaniu Kansalaispuolue. W 2017 z ramienia Chrześcijańskich Demokratów został wybrany do rady miejskiej Helsinek. W 2018 jako kandydat niezależny ponownie wystartował w wyborach prezydenckich, zajmując 4.