W latach 1910–1918 reprezentował okręg wyborczy Strand, a następnie okręg wyborczy Westminster St George’s.

Pierwszym urzędem Longa było stanowisko parlamentarnego sekretarza przy Radzie Samorządu Lokalnego, które sprawował w latach 1886-1892. Brał udział w pracach nad Local Government Act z 1888 r., który powołał wybieralne rady hrabstw. Kiedy Partia Konserwatywna znalazła się w opozycji Long został mówcą ds. samorządu lokalnego. Po powrocie konserwatystów do władzy w 1895 r. został przewodniczącym Rady Rolnictwa. W 1900 r. stanął na czele Rady Samorządu Lokalnego. W 1905 r. poparł Unempolyed Workmen’s Act, który ustanawiał radę ds. bezrobotnych, która miała na celu wyszukiwanie pracy oraz prowadzenie szkoleń dla bezrobotnych.

Long był związany z irlandzkimi unionistami. W marcu 1905 r. został Głównym Sekretarzem Irlandii. Rząd konserwatystów upadł w grudniu tego roku. W kolejnych latach Long był jednym z głównym przeciwników rządowych planów przyznania Irlandii autonomii. W 190] r. był jednym z założycieli Ligi Obrony Ulsteru. W latach 1905–1910 był liderem Irlandzkiej Partii Unionistycznej.