6 kwietnia 2000 po raz trzeci obronił tytuł, pokonując przez nokaut w 8. rundzie Argentyńczyka Eduarda Alvareza. Tytuł obronił potem jeszcze dwukrotnie, pokonując 17 lutego 2001 swojego byłego rywala Arnela Barotillę oraz 22 kwietnia Carlosa Contrerasa.

Ledwaba utracił tytuł 21 czerwca 2001, niespodziewanie przegrywając ze sprowadzonym w zastępstwie Mannym Pacquiao (pierwotnie rywalem Ledwaby miał być Meksykanin Enrique Sánchez, ale wycofał się ze względu na kontuzję). Pacquiao przyjął wyzwanie z zaledwie dwutygodniowym wyprzedzeniem i zdetronizował mistrza, wygrywając przez techniczny nokaut w 6. rundzie. Filipińczyk dominował od pierwszego gongu, a gdy Ledwaba upadł po raz trzeci w 6. rundzie, sędzia postanowił zakończyć starcie. Po utracie tytułu Ldwaba wrócił na ring 27 lipca 2002, mierząc się ze swoim największym krajowym rywalem, Vuyanim Bungu. Ledwaba zwyciężył jednogłośnie (119-109, 115-113, 117-111), zdobywając mało znaczący tytuł WBU w kategorii piórkowej. Po pokonaniu Choia Tseveenpureva przegrał na punkty ze Spendem Abazim, a 20 listopada 2004 zmierzył się z kolejnym krajowym rywalem, Cassiusem Baloyi. Po wyrównanych 12 rundach na punkty zwyciężył Baloyi, co nie spodobało się fanom, uważającym że lepszy był starszy z reprezentantów RPA.