W 1833 Drouet poznała Viktora Hugo po tym, gdy wykonywała rolę księżnej Negroni w jego sztuce Lukrecja Borgia. Pisarz był zauroczony Drouet; mimo faktu, że był już żonaty, rozpoczął z nią romans. Drouet zrezygnowała z kariery aktorskiej (zakończyła ją rolą Jane Grey w Marii Tudor Hugo) i zamieszkała w Paryżu w zupełnym odosobnieniu, izolowana od życia towarzyskiego miasta, zajmując się porządkowaniem dokumentów i rękopisów Hugo. Przez wiele lat pisarz ukrywał jej istnienie przed żoną i rodziną, kontaktował się z Drouet głównie poprzez listy. W ciągu kilkudziesięciu lat nieformalnego związku powstało ich ponad 20 tys.

Drouet towarzyszyła Victorowi Hugo na wygnaniu na wyspę Guernsey i mieszkała blisko niego do końca życia, pracując jako jego osobista sekretarka. Jej śmierć była dla pisarza wielkim ciosem, który wpłynął na jego ostatnie dzieła, w tym na kształt ostatniego większego utworu, Legendy wieków. Hugo upamiętnił ją również pośrednio w powieści Rok dziewięćdziesiąty trzeci, nadając postaci młodego republikańskiego dowódcy jej prawdziwe nazwisko – GauvainJ. Boudout, Introduction, [w:] V.