Śmierć Whittena wpłynęła znacząco na atmosferę zarówno trasy koncertowej, jak i następnych albumów Younga (szczególnie Tonight’s the Night).

Trasa koncertowa, której zapisem jest Time Fades Away odbyła się w momencie, gdy Young zyskał sobie przychylność fanów muzyki country (dzięki albumowi Harvest). Dlatego też, bardziej elektryczne brzmienie Stacy Gators nie przypadło do gustu publiczności zgromadzonej na koncertach w 1973. Była to trasa emocjonalnie trudna dla Younga (między innymi ze względu na śmierć Whittena), co doprowadziło do kłótni, w wyniku której zespół opuścił perkusista – Kenneth Buttrey (został zastąpiony przez Johnny’ego Barbate, który gra we wszystkich utworach na płycie). Frustracja Younga miała się również udzielić pianiście Jackowi Nitzsche, który jak twierdzi producent Elliot Mazer, rzucał obelgami w stronę Younga, kiedy mikrofon był wyłączony. Inny członek zespołu, grający na elektrycznej gitarze stalowej Ben Keith był podobno tak pijany, że w trakcie jednego ze strojeń muzyków przed występem zdawał się nie wiedzieć, na którym instrumencie gra. Na czas trasy koncertowej Young zmienił Gibsona Les Paul na Gibsona Flying V.