ojciec był technikiem dentystycznym w miejscowym szpitalu dla weteranów, a matka pracowała w aptece. Wychowywany był w duchu kwakierskim. Był silnie zżyty z matką, która była „jedyną osobą, która potrafiła zrozumieć Jimmy’ego”Michael DeAngelis, Gay Fandom and Crossover Stardom: James Dean, Mel Gibson and Keanu Reeves (Duke University Press, 2001), s. 97.. Za jej namową podjął naukę gry na skrzypcach i lekcje stepowania w Marion College of Dance and Theatrical Arts, a także zainteresował się poezją, muzyką i malarstwem. W dzieciństwie cierpiał na rozległe podskórne wylewy krwi i częste krwotoki z nosa, przez które czasem tracił przytomność.
W 1936 przeniósł się z rodziną do Santa Monica w Kalifornii, gdzie jego ojciec podjął pracę w Sawtelle Veterans’ Administration Hospital. Uczęszczał do przedszkola przy McKinley Elementary School. Przerwał naukę w związku ze śmiercią matki, która zmarła 14 lipca 1940 po kilkumiesięcznym leczeniu raka macicy. Ojciec, nie potrafiący poradzić sobie z wychowaniem dziewięciolatka, wysłał syna do Fairmount w Indianie, gdzie zamieszkał na farmie u swojego stryjostwa, Ortense i Marcusa Winslowów. Dorastał ze starszą o pięć lat kuzynką, Joan Winslow. Powrócił do nauki w szkole w Fairmount, w której uzyskiwał słabe oceny, z wyjątkiem zajęć sportowych i przedmiotów artystycznych.