Obok prowadzenia działalności gospodarczej, Kalla był również zaangażowany w działalność różnych organizacji pozarządowych. W latach 1979–1989 był przewodniczącym Stowarzyszenia Absolwentów Ekonomii w Makasar. Od 1985 do 1998 by przewodniczącym Izby Handlu i Przemysłu w Celebesie Południowym.

Kariera polityczna Jusuf Kalla do polityki powrócił w 1987, kiedy został wybrany do Ludowego Zgromadzenia Konsultacyjnego (MPR) (parlamentu) jako reprezentant Celebesu Południowego. W 1992, 1997 i w 1999 uzyskał reelekcję.

W 1999 został mianowany ministrem przemysłu i handlu w gabinecie prezydenta Abdurrahmana Wahida. Jednak już po sześciu miesiącach, w kwietniu 2000 został zdymisjonowany pod zarzutem korupcji, czego nigdy nie udowodniono. Gdy w lipcu 2001 parlament odsunął od władzy Wahida, Kalla objął funkcję ministra opieki społecznej w gabinecie nowej prezydent Megawati Sukarnoputri. Jako minister Kalla przyczynił się do rozwiązania konfliktu religijnego w rejonie Poso w prowincji Celebes Środkowy. Dzięki jego działalności w grudniu 2001 podpisano tzw. Deklarację z Malino, która zakończyła trzyletni konflikt. W lutym 2002 Kalla razem z ówczesnym ministrem polityki i społeczeństwa Susilo Bambang Yudhoyono, zdołał rozwiązać podobny konflikt w prowincji Moluki.