Kariera Jako nastolatek fascynował się muzyką The Stooges, Roxy Music i Davida Bowiego. Na początku lat 70. postanowił ze swoimi kolegami z sąsiedztwa: Paulem Cookiem i Wallym Nightingale’em założyć zespół w którym został wokalistą. Grupa przyjęła nazwę The Strand (wziętą z tytułu jednej z piosenek Roxy Music). Niewiele później dołączył do zespołu basista Glen Matlock, który pracował jako sprzedawca w sklepie „Too Fast to Live, Too Young to Die” należącym do Malcolma McLarena. Kiedy w 1975 McLaren postanowił zająć się The Strand, zaprowadził w nim małe zmiany: kazał usunąć Nightingale’a i zadecydował, że Steve zostanie gitarzystą. Po dołączeniu wokalisty Johnny’ego Rottena zespół zmienił nazwę na Sex Pistols.

Jones nauczył się grać na gitarze trzy miesiące przed pierwszym występem Sex Pistols. Jego pierwszą gitarą był kremowego koloru Gibson Les Paul, którego ukradł (wg wypowiedzi w The Filth and the Fury) Mickowi Ronsonowi po koncercie Dawida Bowiego (Ronson był gitarzystą w jego zespole). Popularności wśród fanów przysporzyła mu charakterystycznie noszona na głowie chusta, dzięki której znalazł wielu naśladowców i stało się to później czymś w rodzaju mody.