Po odejściu z polityki w 1977 r. lord Lothian objął funkcję Lord Warden of the Stannaries, opiekuna prywatnej szkatuły księcia Kornwalii oraz przewodniczącego Książęcej Rady Księstwa Kornwalii. W 1983 r. otrzymał Krzyż Komandorski Królewskiego Orderu Wiktoriańskiego. Był członkiem Królewskiej Kompanii Łuczników.
30 kwietnia 1943 r. w Brompton Oratory poślubił Antonellę Newland (8 września 1922 - 6 stycznia 2007), córkę generała-majora Fostera Newlanda i Donny Salazar, córki hrabiego Michele Salazara. Małżonkowie mieli razem dwóch synów i cztery córki: Mary Marianne Anne Kerr (ur. 20 marca 1944), żona hrabiego Charlesa von Westenholza, ma dzieci Michael Andrew Foster Jude Kerr (ur. 7 lipca 1945), 13. markiz Lothian Cecil Nennella Therese Kerr (ur. 22 kwietnia 1948), oficer Orderu Imperium Brytyjskiego, żona Donalda Angusa Camerona of Lochiel, ma dzieci Claire Amabel Margaret Kerr (ur. 15 kwietnia 1951), żona Jamesa FitzRoya, hrabiego Euston, ma dzieci Elizabeth Marion Frances Kerr (ur. 8 czerwca 1954), żona Richarda Scotta, 10. księcia Buccleuch, ma dzieci Ralph William Francis Joseph Kerr (ur.