Lees-Smith przegrał przedterminowe wybory 1923 r. z kandydatem liberałów. Z tego powodu nie otrzymał stanowiska w pierwszym laburzystowskim gabinecie, który powstał w styczniu 1924 r. Spadające notowania Partii Liberalnej umożliwiły Leesowi-Smithowi „odzyskanie” miejsca w okręgu w wyborach 1924 r. Po powrocie Partii Pracy do władzy w 1929 r. został poczmistrzem generalnym. W marcu 1931 r. został przewodniczącym Rady Edukacji. W sierpniu 1931 r. sprzeciwił się decyzji MacDonalda o powołaniu rządu narodowego i wraz z większością laburzystowskich deputowanych przeszedł do opozycji.
Podobnie jak większość opozycyjnych laburzystów również Lees-Smith przegrał wybory 1931 r. Miejsce w parlamencie odzyskał w 1935 r. Należał do grona czołowych polityków Partii Pracy, ale nie został powołany do rządu wojennego Churchilla w 1940 r. Jako jedyny z prominentnych laburzystów niepiastujący żadnego stanowiska rządowego został Liderem Opozycji i przewodniczącym Parlamentarnej Partii Pracy.