W latach 1932–1937 prowadził własny zespół Ray Nance and His Ebony Aces. Następnie do 1939 pracował z orkiestrą pianisty Earla Hinesa. Potem przez rok występował z grupą Horace’a Hendersona, który był bratem słynniejszego Fletchera. W 1940 bandlider Duke Ellington zaangażował go do swojej orkiestry na miejsce trębacza Cootiego Williamsa. Jego pierwszy dzień w pracy został w pełni udokumentowany, albowiem wystąpił w zarejestrowanym koncercie big-bandu w Fargo. Płyta Duke Ellington at Fargo, 1940 Live, wydana w 1978, dwa lata później zdobyła nagrodę Grammy. Zagrał także słynne solo na trąbce w oryginalnym nagraniu utworu Take the „A” Train. Bardzo dobrze posługiwał się tłumikiem, wypracowując oryginalny styl. Był ważnym muzykiem w zespole. Równie często jak na trąbce grał na skrzypcach, których brzmienie wzbogaciło koloryt m.in. suity Black, Brown and Beige. Ponadto śpiewał w wielu utworach takich jak A Slip of a Lip Will Sink a Ship i Tulip or Turnip. Po powrocie do orkiestry Williams odebrał mu część dotychczasowego splendoru. Grali ze sobą przez blisko rok, ale w 1963 Nance zdecydował się odejść z orkiestry. W późniejszych latach pojawiał się w jej składzie podczas występów gościnnych.