W 1964 Sedgwick przeprowadziła się do Nowego Jorku, by rozpocząć karierę modelki. W latach 1963–1965 jej zdjęcia ukazywały się w „Time”, „LIFE” i „Vogue”. Redaktor naczelna „Vogue” Diana Vreeland nazywała ją idealnym wzorcem nowej kultury. W 1965 Sedgwick spotkała Warhola i szybko stała się jego ulubioną gwiazdą (Warhol superstar), występując w wielu jego filmach, w tym w Poor little rich girl, Vinyl, Beauty#2 czy Chelsea Girls. Mniej więcej w tym samym czasie Edie zaczęła eksperymentować z narkotykami, głównie amfetaminą.
W 1965 została dziewczyną roku Warhola. Towarzyszyła mu niemal wszędzie na nowojorskiej scenie artystycznej. W tym czasie para ubierała się niemal identycznie i Sedgwick często nazywała się „panią Warhol”. Przyjaźń aktorki z artystą trwała do 1966, w którym publicznie się ze sobą rozstali.
Po rozstaniu z Warholem zamieszkała w hotelu Chelsea, gdzie poznała Boba Dylana, który przekonał ją, by podpisała kontrakt z jego menedżerem Albertem Grossmanem. Niektórzy utrzymują, że Sedgwick zainspirowała Dylana do nagrania albumu Blonde on Blonde, utworów Just Like a Woman, Leopardskin Pillbox Hat czy Lay Lady Lay.