Był również jednym z najgorętszych zwolenników utworzenia przez rząd federalny państwowego banku, działającego do dziś jako Commonwealth Bank (w latach 1991–1996 bank ten został całkowicie sprywatyzowany). Był także pomysłodawcą zmiany pisowni słowa „praca” w nazwie swojej partii. Choć australijska odmiana angielskiego bazuje generalnie na brytyjskiej ortografii (a w jeszcze większym stopniu bazowała w czasach O’Malleya), udało mu się przeforsować pomysł, by brytyjski zapis Labour zastąpić amerykańskim Labor, co w jego ocenie miało przydać partii nowoczesności.
W 1913 wraz z całą ALP przeszedł do opozycji. Powrócił do rządu w 1915, gdy ponownie został szefem resortu spraw wewnętrznych, tym razem w pierwszym gabinecie Billy’ego Hughesa. W czasie przesilenia wewnątrz ALP w 1916 zdecydował się pozostać w partii i nie dołączył do grupy rozłamowców kierowanej przez premiera Hughesa, co automatycznie wykluczyło go z gabinetu. W 1917 stracił mandat parlamentarny, a podejmowane przez niego próby powrotu do Izby Reprezentantów w wyborach w latach 1919 i 1922 zakończyły się niepowodzeniem.