Choć Dylan popadł w konflikt z Warholem właśnie z powodu Sedgwick (oskarżał go o wciągnięcie jej w heroinowy nałóg), to nie jest pewne, czy poznał Sedgwick przed nagraniem utworu.
Sesje nagraniowe i występy 15 czerwca 1965 odbyła się pierwsza sesja nagraniowa do albumu Highway 61 Revisited w Columbia Studio A, podczas której nagrano 5 wersji tej piosenki. Jedna z nich została wybrana na album. Na płycie acetatowej z pierwszą wersją albumu utwór znalazł się jako pierwsza ścieżka. Jedna z wersji została umieszczona na albumie The Bootleg Series Vol.1–3. Dzień później miała miejsce druga sesja na potrzeby albumu. Zarejestrowano wówczas 15 wersji „Like a Rolling Stone”, z czego tylko 4 ukończono; czwarta wersja została umieszczona na albumie Biograph (1985). 26 lipca 1965 Dylan wystąpił na Newport Folk Festival, gdzie muzyk wykonał „Like a Rolling Stone” (jako jeden z utworów zelektryfikowanych). Tę wersję umieszczono na DVD The Other Side of the Mirror (2007). Nagranie „Like a Rolling Stone” w wykonaniu Dylana, zarejestrowane podczas koncertu w Woodside Bay (okolice miasta Ryde, wyspa Wight, Anglia) 31 sierpnia 1969 roku, umieszczono na podwójnym albumie Self Portrait (1970). 1 stycznia 1972 odbył się koncert grupy The Band w New York Academy of Music w Nowym Jorku;