Zakończył urzędowanie w listopadzie 1994.
Po wyborach w 1995 stanął na czele Związku Ojczyźnianego, nowego ugrupowania powstałego z połączenia dwóch współpracujących ze sobą dotąd partii. W marcu 1999 powrócił na urząd premiera, który sprawował przez do stycznia 2002. Od 2003 pełnił funkcję obserwatora w Parlamencie Europejskim, od maja do lipca 2004 sprawował mandat eurodeputowanego V kadencji w ramach delegacji krajowej. W 2006 dołączył do powstałego z połączenia jego dotychczasowej formacji i partii Res Publica stronnictwa Isamaa ja Res Publica Liit. W 2007 został wybrany na jego przewodniczącego. W styczniu 2012 objął funkcję honorowego lidera partii. W kwietniu 2011 rozpoczął urzędowanie jako minister obrony w trzecim rządzie Andrusa Ansipa. Urząd ten sprawował do maja 2012, rezygnując z przyczyn zdrowotnych. W 2013 odszedł z parlamentu w związku z objęciem funkcji przewodniczącego rady nadzorczej Banku Estonii.
Członek różnych stowarzyszeń międzynarodowych, m.in. zajmujących się badaniem zbrodni komunistycznych i ochroną praw człowieka. Był doradcą prezydenta Gruzji Micheila Saakaszwilego. Opublikował kilka książek o estońskim ruchu oporu z okresu II wojny światowej (w tym Wojna w lesie. Walka Estończyków o przetrwanie 1944–1956), a także m.in.