jego nastawienie zmieniło się w wieku 12 lat po dramatycznej serii śmierci w rodzinie (zmarł jego ojciec, dziadek i babka, a w następnym roku wuj). Ponieważ poziom życia rodziny znacznie się obniżył, Coltrane zaczął grać w lokalnej orkiestrze dętej na klarnecie. Jednak pod wpływem Johnny’ego Hodgesa, saksofonisty w orkiestrze Duke’a Ellingtona, wkrótce zmienił klarnet na saksofon altowy. Grał wtedy w zespole William Penn High School. Gdy w wieku 16 lat ukończył tę szkołę, był zdeterminowany zrobić karierę w muzyce.
Służba wojskowa Aby nie zostać powołanym, Coltrane zaciągnął się do marynarki 6 sierpnia 1945; tego samego dnia zrzucono pierwszą bombę atomową na Japonię. Ukończył szkolenie na marynarza w szkole marynarki wojennej Sampson Naval Training School, gdzie dołączył do „Melody Masters”, stałego zespołu swingowego na bazie. Tutaj rozpoczął swoją karierę, grając na saksofonie altowym.