Niezadowolony z tradycyjnych metod dystrybucji najświeższych wyników prac naukowych (kopie papierowe przesyłane pocztą lub wersje elektroniczne rozsyłane na listy dystrybucyjne poczty elektronicznej) uruchomił on na swoim biurkowym komputerze NeXT serwis przechowujący elektroniczne wersje preprintów z dziedziny teoretycznej fizyki wysokich energii i automatycznie wysyłający powiadomienia o nowych pracach do zainteresowanych. Początkowo użytkownicy komunikowali się z serwerem za pośrednictwem poczty elektronicznej, po kilku miesiącach dodany został serwer FTP, a po około roku dodany został interfejs WWW – podówczas była to nowa technologia świeżo wynaleziona w CERN-ie.
W 1998 roku domena internetowa archiwum została zmieniona z xxx.lanl.gov na obecną arxiv.org
W roku 2001 Ginsparg przeniósł się na Uniwersytet Cornella, przenosząc ze sobą arXiv. Jako jedną z przyczyn decyzji podawał słabe wsparcie dla swej działalności ze strony kierownictwa laboratorium Los Alamos. Uniwersytet zaproponował mu, poza utrzymaniem samego archiwum, posadę w nowo powołanym Wydziale Informatologii i możliwość pracy nad rozwojem cyfrowych bibliotek i archiwów. Od tego też czasu archiwum zaczęło obejmować prace z innych dziedzin, poza fizyką.