W wieku 5 lat Sullivan przeszła infekcję oka – jaglicę, która prawie całkowicie odebrała jej wzrok. Gdy Anne miała 8 lat, jej matka zmarła na gruźlicę, zaś ojciec w dwa lata po śmierci żony opuścił dzieci, nie radząc sobie z samotnym ojcostwem. Anne z siostrą i młodszym bratem Jamesem (Jimmiem) trafili do podupadłego i zatłoczonego przytułku dla niewidomych w Tewksbury w Massachusetts. Jimmie zmarł na gruźlicę 4 miesiące później. Anne pozostała w Tewksbury i przeszła dwie nieudane operacje oka.
Z powodu napływających raportów o okrucieństwie wobec mieszkających w Tewksbury niewidomych, m.in. przemocy seksualnej oraz kanibalizmu, komisja nadzorująca działalność charytatywną w stanie Massachusetts (ang. the Massachusetts Board of State Charities) wszczęła w 1875 dochodzenie w tej sprawie. Śledztwo poprowadzili Franklin Benjamin Sanborn, późniejszy przewodniczący komisji, oraz Samuel Gridley Howe – założyciel Szkoły Perkinsa dla Niewidomych w Bostonie (z ang. Perkins School for the Blind).