Zaczęła występować publicznie w wieku 7 lat, kiedy stała się znana w Pittsburghu jako „The Little Piano Girl” (mała dziewczynka od pianina). Została zawodowym muzykiem w wieku 15 lat. Uważała Lovie Austin za swoją największą inspirację.
Kariera W 1922, w wieku 12 lat, wystąpiła w Orpheum Circuit of Theatres. W następnym roku grała z Duke'em Ellingtonem i jego ówczesnym małym zespołem The Washingtonians. Pewnego ranka, kiedy grała z McKinney's Cotton Pickers w Harlem's Rhythm Club, do klubu wszedł na chwilę Louis Armstrong, by jej posłuchać. Williams potem opowiadała: Louis podniósł mnie i pocałował"No Kitten on the Keys". Time. July 26, 1943. Archived from the original on September 30, 2016. Retrieved June 27, 2018..
W 1926 poślubiła saksofonistę Johna Overtona Williamsa. Poznała go w Cleveland, gdzie występował ze swoją grupą Syncopators. Przeprowadziła się z nim do Memphis w stanie Tennessee. John Williams założył w Memphis zespół, w skład którego wchodziła m.in. Mary grająca na fortepianie. W 1929 19-letnia artystka przejęła prowadzenie zespołu Memphis, bo jej mąż przyjął zaproszenie do zespołu Andy'ego Kirka w Oklahoma City. Williams dołączyła do męża, ale nie grała z jego zespołem. Grupa Andy Kirk's Twelve Clouds of Joy przeniosła się do Tulsa w Oklahomie.