Chicago W latach 20. Chicago było tętniącym życiem ośrodkiem muzycznym, do którego ściągali czarni wykonawcy z całych Stanów Zjednoczonych. Działało tam również wiele rozgłośni radiowych, nadających nową wówczas muzykę – jazz. Joe słuchał przez radio takich wykonawców jak Duke Ellington, Ethel Waters, Cab Calloway i Big Joe Turner. Ponadto matka zabierała go do Vendome TheaterDavarian L. Baldwin, Chicago's New Negroes • Modernity, the Great Migration, and Black Urban Life, University of North Carolina Press, 2007, s. 138, gdzie występował m.in. Louis Armstrong.
Joe, mając 12 lat, grał już na fortepianie (był samoukiem), a w wieku lat 13 założył kwartet wokalny, The Jubilee Boys, z którym śpiewał w kościele utwory gospel. Niedługo potem zaczął śpiewać solo, występując z różnymi orkiestrami. Otrzymywał za jeden wieczór nie więcej niż 5 dolarów, ale to wystarczyło, żeby przekonać rodzinę, iż śpiewem potrafi zarobić na życie. W wieku 16 lat porzucił więc szkołę i już jako Joe Williams (po rodzinnej naradzie zdecydowano, że nazwisko „Williams” będzie bardziej odpowiednie dla śpiewaka) zaczął wyrabiać sobie markę, występując jako „wolny strzelec” z chicagowskimi zespołami, głównie klubowymi. Pierwszą stałą pracę otrzymał w klubie Kitty Davis's.