Dwa miesiące później Johnson niespodziewanie został znokautowany w 2. rundzie przez Oakland Billy'ego Smitha. Pomimo tej porażki z sukcesem kontynuował karierę.
Pod koniec 1960 organizacja National Boxing Association wycofała uznanie dla Archiego Moore'a jako mistrza świata wagi półciężkiej, gdyż przez ponad rok nie bronił tytułu. Do walki o wakujący tytuł zostali wyznaczeni Johnson i Jesse Bowdry. 7 lutego 1961 w Miami Beach Johnson wygrał przez techniczny nokaut w 9. rundzie. Johnson wygrał w obronie tytułu z Vonem Clayem 24 kwietnia 1961 w Filadelfii przez TKO w 2. rundzie i z Eddiem Cottonem 29 sierpnia 1961 w Seattle na punkty. W międzyczasie pokonał znanego boksera wagi ciężkiej Eddiego Machena.
12 maja 1962 w Filadelfii Johnson wygrał na punkty z Dougiem Jonesem i został uznany za uniwersalnego mistrza świata w wadze półciężkiej. Broniąc tego pasa pokonał 23 czerwca 1962 w Berlinie Gustava Scholza, ale w następnej walce o tytuł przegrał po niejednogłośnym werdykcie z Willie Pastrano 1 czerwca 1963 w Las Vegas. Nigdy więcej nie walczył o tytuł, ale kontynuował karierę do 1971, wygrywając m.in.