Krótko pracował jako nauczyciel, ale bez powodzenia. W roku 1895 uzyskał stypendium z Auckland University College i przeniósł się do Europy. Podjął pracę naukową w Wielkiej Brytanii w Laboratorium Cavendisha, będącym częścią Uniwersytetu w Cambridge. W latach 1895–1898 prowadził badania nad promieniowaniem wytwarzanym przez niektóre pierwiastki chemiczne. Odkrył, że ta radiacja zawiera dwie składowe obdarzone ładunkiem elektrycznym. Promienie dodatnie nazwał promieniowaniem alfa, ujemne – promieniowaniem beta.

W 1898 r. otrzymał posadę w katedrze fizyki na Uniwersytecie McGilla w Montrealu, a w 1907 r. podjął pracę na w Wielkiej Brytanii (od 2004 r. w składzie Uniwersytetu Manchesterskiego). Podczas pracy w tym ośrodku wykonał eksperyment Rutherforda, zaliczany do dziesięciu najpiękniejszych eksperymentów z fizyki, w którym cząstki alfa przepuścił przez bardzo cienką złotą folię. Rozkład kątowy rozproszonych cząstek skłonił Rutherforda do wysnucia wniosku, że cała masa oraz dodatni ładunek atomu skupiony jest w bardzo niewielkiej objętości. W ten sposób potwierdził on eksperymentalnie istnienie jądra atomowego.

Badając właściwości pierwiastków radioaktywnych, udowodnił, że źródłem promieniowania tych pierwiastków jest spontaniczny rozpad promieniotwórczy.