Po 15 rundach pojedynku, znanego jako „walka stulecia”, wygrał na punkty Frazier, a Ali zanotował pierwszą porażkę w karierze (w ostatniej rundzie był nawet liczony po lewym sierpowym Fraziera).
Frazier stracił tytuł w 1973 roku w Kingston na Jamajce na rzecz George’a Foremana, mistrza olimpijskiego z igrzysk w Meksyku. Przegrał z nim przez TKO w drugiej rundzie. Była to pierwsza porażka Fraziera w zawodowej karierze.
Do 1976 roku stoczył jeszcze 6 walk, z których 3 przegrał: ponownie z Foremanem i dwukrotnie z Alim. Ostatnia walka z Alim z 1 października 1975 roku w Manili na Filipinach przeszła do historii jako Thrilla in Manila. Frazier przegrał przed czasem, gdy jego trener nie pozwolił mu wyjść do ostatniej, 15. rundy z powodu opuchlizny oczu uniemożliwiającej widzenie. Ali uznał tę walkę za najtrudniejszą w swojej karierze − po ogłoszeniu wyniku zasłabł z wyczerpania.
Po drugiej porażce z Foremanem, w 1976 roku Frazier wycofał się ze startów. W 1981 roku powrócił na jedną walkę, remisując z mało znanym Jumbo Cummingsem.