Był jednym z faworytów biegu na 1500 metrów na igrzyskach olimpijskich w 1996 w Atlancie. Odstąpił jednak prawo startu na tym dystansie swemu rodakowi Dieudonné Kwizera, który nie mógł startować w poprzednich igrzyskach, ponieważ Burundi nie miało wówczas narodowego komitetu olimpijskiego, a w Atlancie przebywał jako trener. Decyzja okazała się trafna: Kwizera został olimpijczykiem, a Niyongabo po sprincie na ostatnim okrążeniu został niespodziewanym mistrzem olimpijskim w biegu na 5000 metrów, wyprzedzając Paula Bitoka z Kenii i Khalida Boulamiego z Maroka. Wcześniej tylko dwa razy rywalizował na tym dystansie.
Po zdobyciu złotego medalu Niyongabo zmagał się z kontuzjami. Uzyskał co prawda jeden z najlepszych rezultatów w historii na 1500 m (3:29,18 22 sierpnia 1997 w Brukseli - zajął wówczas 2. miejsce za Hichamem El Guerroujem), ale nie odzyskał pozycji z lat ubiegłych. Odpadł w eliminacjach biegu na 1500 metrów na mistrzostwach świata w 1999 w Sewilli. Start w igrzyskach olimpijskich w Sydney w 2000 miał również nieudany - zajął 15.