Stracił ten tytuł już w pierwszej obronie 22 kwietnia 1979 w Indianapolis po porażce z Matthew Saadem Muhammadem przez techniczny nokaut w 8. rundzie.
Ponownie zdobył mistrzostwo świata, tym razem federacji WBA 30 listopada 1979 w Nowym Orleanie po znokautowaniu w 11. rundzie obrońcy tytułu Víctora Galíndeza. Po raz drugi utracił pas mistrzowski w pierwszej obronie 31 marca 1980 w Knoxville, po porażce przez techniczny nokaut w 11. rundzie z Eddiem Mustafą Muhammadem. Wygrał potem trzy walki przed czasem, a 28 marca 1981 w Atlantic City znokautował go Michael Spinks.
Po tej porażce Johnson wygrał kolejnych czternaście walk, w tym dwanaście przed czasem. W następnej zmierzył się 9 lutego 1986 w Indianapolis o wakujący tytuł mistrza świata WBA w wadze półciężkiej z Lesliem Stewartem, wygrywając przez techniczny nokaut w 7. rundzie. Stał się w ten sposób pierwszym bokserem, który trzykrotnie zdobywał tytuł mistrza świata w wadze półciężkiej. 20 września tego roku w Indianapolis pokonał w obronie tytułu Jeana-Marie Emebe przez techniczny nokaut w 13. rundzie, a 23 maja 1987 w Port-of-Spain przegrał rewanżową walkę o mistrzostwo z Lesliem Stewartem przez poddanie w 8. rundzie.