Przed igrzyskami olimpijskimi w 1960 w Rzymie skoncentrował się na bieganiu na dłuższych dystansach. Zdobył na igrzyskach złoty medal w biegu na 5000 metrów, wyprzedzając Niemca Hansa Grodotzkiego i Polaka Kazimierza Zimnego. Zajął również 5. miejsce w biegu na 10 000 metrów. W 1961 ustanowił trzy rekordy świata, wszystkie na dystansach milowych: w biegach na 2 mile (8:30,0 7 lipca w Jyväskylä, na 3 mile (13:10,0 25 lipca w Sztokholmie) oraz w sztafecie 4 × 1 mile (16:23,8 17 lipca w Dublinie). Na Igrzyskach Imperium Brytyjskiego i Wspólnoty Brytyjskiej w 1962 w Perth obronił tytuł w biegu na 3 mile.
Na igrzyskach olimpijskich w 1964 w Tokio zajął 7. miejsce w biegu na 10 000 metrów, a w biegu na 5000 metrów odpadł w przedbiegach.
Halberg zdobył 11 tytułów mistrza Nowej Zelandii: bieg na milę – 1953/1954, 1954/1955, 1955/1956, 1956/1957 i 1959/1960 bieg na 3 mile – 1957/1958, 1958/1959, 1959/1960, 1960/1961 i 1961/1962 bieg przełajowy – 1953
Dwa razy był rekordzistą Nowej Zelandii w biegu na 1500 metrów do czasu 3:38,8 (5 września 1958 w Oslo), cztery razy w biegu na 5000 metrów do wyniku 13:35,2 (25 lipca 1961 w Sztokholmie) i dwa razy w biegu na 10 000 metrów do rezultatu 28:32,8 (23 lutego 1964 w Auckland).