Sam przegrał jednak w tych wyborach walkę o fotel parlamentarny z przedstawicielem Liberalnych Demokratów Donem Fosterem i został zastąpiony na stanowisku przewodniczącego Partii Konserwatywnej przez Normana Fowlera.
Po wyborach, w lipcu 1992, został mianowany 28. brytyjskim gubernatorem Hongkongu jako następca Davida Wilsona. Był ostatnim brytyjskim szefem administracji Hongkongu. Wcześniej stanowisko to obsadzali zawodowi dyplomaci, Patton był przede wszystkim politykiem. Angażował się w zmiany zasad wyborczych, polegające na rozciągnięciu czynnych praw na jak największą liczbę mieszkańców; naraził się tym na krytykę działaczy komunistycznych, zarówno z Hongkongu, jak i Pekinu, szykujących się do przejęcia administracji nad Hongkongiem w 1997. Jednocześnie działania te (jak i krytyka ChRL) przyniosły mu dużą popularność, którą cieszył się, kiedy opuszczał Hongkong w lipcu 1997 – po przekazaniu zwierzchnictwa szefowi władz wykonawczych Specjalnego Regionu Administracyjnego Tung Chee Hwa.