Wczesne lata życia Davis urodził się w New Salem w stanie Pensylwania. Jego ojciec zginął w wypadku tuż po jego urodzeniu, a jego matka, Avis Marie Davis Fleming, nie była w stanie wychowywać go sama. W wieku 14 miesięcy, opiekowali się nim jego dziadkowie ze strony matki, Willie i Elizabeth Davis, w Uniontown w stanie Pensylwania. W wieku 12 lat, zamieszkał z matką i ojczymem w mieście Elmira w stanie Nowy Jork, gdzie uczęszczał do szkoły podstawowej i wykazywał szczególne zdolności grając w baseball, koszykówkę i futbol amerykański. Następnie uczęszczał do szkoły średniej Elmira Free Academy, gdzie został wyróżniony za wybitne osiągnięcia w sporcie. W ostatniej klasie szkoły średniej, był rekrutowany przez wiele uczelni wyższych do akademickich drużyn sportowych. Wybrał Uniwersytet w Syracuse po tym jak został przekonany przez jego idola z dzieciństwa, Jim Brown, absolwenta tego właśnie uniwersytetu, wybitnego zawodnika futbola amerykańskiegoGallagher, Robert C. Ernie Davis: The Elmira Express, the Story of a Heisman Trophy Winner (Bartleby Press, 1999).