Historia Hrabstwo Randolph powstało 5 października 1795 roku z terenów hrabstwa St. Clair. Swoją nazwę obrało na cześć Edmunda Randolph, gubernatora stanu Wirginii
Terytorium Północno-zachodnie zostało odebrane Brytyjczykom pod koniec wojny o niepodległość Stanów Zjednoczonych w 1783 roku, przez armię Wirginia. Illinois stał się na krótki czas hrabstwem Illinois w stanie Wirginia. Edmund Randolph był ówczesnym gubernatorem Wirginii i za jego kadencji Wirginia oddała Terytorium Północno-zachodnie Stanom Zjednoczonym.
Granice hrabstwa ostatecznie zostały ustalone w 1827 roku, kiedy obszar został wydzielony na powstanie Hrabstwa Perry.
Pierwszą siedzibą władz hrabstwa było miasto Kaskaskia, które w latach 1809 i 1818 było stolicą Terytorium Illinois a w latach 1795 – 1845 siedzibą hrabstwa było Randolph.
Zważywszy na historię hrabstwa mottem Randolph są słowa: "Where Illinois Began" (Gdzie zaczyna się Illinois)