Jego następcą na tym stanowisku był Walter Bedell Smith.
W latach 1946–1948 piastował stanowisko sekretarza handlu w gabinecie prezydenta Harry’ego Trumana.
Gubernator stanu Nowy Jork W 1954 został wystawiony przez demokratów jako kandydat na gubernatora swego rodzinnego stanu. W owym czasie stanowisko to zajmował republikanin Thomas Dewey, który dwukrotnie (1944 i 1948) mimo swej popularności był pokonywany przez kandydatów demokratów w wyborach prezydenckich.
Dewey poparł swego protegowanego Irvinga M. Ivesa, który jednak przegrał z Harrimanem.
Harriman pełnił urząd gubernatora do 1958 roku (ściślej rzecz ujmując: opuścił urząd w styczniu roku następnego), kiedy pokonał go przyszły Wiceprezydent USA Nelson Rockefeller, mimo że ten rok był uważany powszechnie za „rok demokratów”.
Kandydat prezydencki Wielu prominentnych demokratów, m.in. były prezydent Harry Truman, popierało w latach 1952 i 1956 kandydaturę Harrimana na prezydenta USA. Ale ostatecznie nominację w obu przypadkach uzyskał Adlai Stevenson II, który za każdym razem przegrywał z Dwightem Eisenhowerem.