W 1931 r. Cunliffe-Lister został jednym z przedstawicieli Partii Konserwatywnej na rozmowy dotyczące utworzenia wielopartyjnego rządu narodowego. Rozmowy zakończyły się sukcesem i Cunliffe-Lister został po raz trzeci przewodniczącym Zarządu Handlu. Po wyborach 1931 r. został przeniesiony na stanowisko ministra kolonii. W 1935 r. nowy premier Stanley Baldwin powierzył Cunliffe-Listerowi tekę ministra lotnictwa. Cunliffe-Lister nie brał udziału w wyborach 1935 r. Niedługo potem otrzymał tytuł 1. wicehrabiego Swinton i zasiadł w Izbie Lordów.
Lord Swinton pozostał na swoim dotychczasowym stanowisku do 1938 r., kiedy to nowy premier, Neville Chamberlain, doszedł do wniosku, że minister lotnictwa musi być członkiem Izby Gmin i zdymisjonował Swintona. Przez kolejne 6 lat Swinton pozostał poza gabinetem. Powrócił do niego w 1944 r., kiedy to Winston Churchill powierzył mu tekę ministra lotnictwa cywilnego. Rok wcześniej otrzymał Order Kawalerów Honorowych. Stanowisko ministra utracił po wyborczej porażce konserwatystów w 1945 r.