Pod koniec rządów Bandy, wraz z postępem jego wieku i chorób, John Tembo wyrastał na najbardziej wpływową osobę w państwie, sprawującą realną władzę „z tylnego fotela”. Na początku lat 90. objął wpływową funkcję skarbnika generalnego oraz ministra stanu w kancelarii prezydenta. Kiedy jednak w 1993 w Malawi wprowadzono demokrację i system wielopartyjny, Banda na swego następcę i kandydata do urzędu wiceprezydenta wyznaczył rywala Tembo, Gwandę Chakuambę. Duet Banda-Chakuamba przegrał pierwsze demokratyczne wybory w 1994 z Bakilim Muluzim i MCP straciła władzę.
Działalność polityczna po 1994 Po śmierci Hastingsa Bandy w 1997, John Tembo podjął próbę przejęcia władzy w Partii Kongresowej Malawi (MCP) od Gwendy Chakuamby„John Tembo: Down and out?”, BBC News, 1 września 2003.. W 2004 Chakuamba odszedł z MCP i założył własną partię, a nowym przywódcą MCP został wówczas Tembo.
John Tembo wziął udział w wyborach prezydenckich w maju 2004 r. Zajął w nich drugie miejsce z wynikiem 27,1% głosów poparcia, przegrywając z Bingu wa Muthariką ze Zjednoczonego Frontu Demokratycznego (UDF) (35,9% głosów). Wyprzedził jednak swego dawnego rywala, Gwandę Chakuambę, który był trzeci i zdobył 25,7% głosówElections in Malawi, African Elections Database.„Opposition defeated in Malawi elections”, afrolNews, 23 maja 2004..