Kolejne dwa medale wywalczył podczas igrzysk w Atenach: drużyna brytyjska w składzie: Steve Cummings, Hayles, Manning, Wiggins, Newton i Steel zdobyła srebro, a ponadto Robert i Wiggins zdobyli także brązowy medal w madisonie. W indywidualnym wyścigu na dochodzenie zajął tam czwarte miejsce, przegrywając walkę o brąz z Escobarem. Największe sukcesy Hayles odniósł na mistrzostwach świata w Los Angeles w 2005 roku, gdzie był najlepszy w madisonie (w parze z Markiem Cavendishem) i drużynowo na dochodzenie (z Cummingsem, Manningiem i Newtonem). W 2006 roku wystąpił na igrzyskach Wspólnoty Narodów w Melbourne, gdzie wygrał w drużynowym wyścigu na dochodzenie, a indywidualnie był drugi. Ponadto wraz z Manningiem, Cummingsem i Geraintem Thomasem wywalczył drużynowo srebrny medal na mistrzostwach świata w Bordeaux w 2006 roku. W 2011 roku zakończył karierę.
W marcu 2008 roku został zawieszony po tym jak w jego krwi wykryto nieprawidłową wartość hematokrytuHayles suspended after blood test .