brał udział w negocjacjach handlowych w Waszyngtonie jako reprezentant brytyjskich kolonii w Indiach Zachodnich.

Po wybuchu II wojny burskiej Olivier, który sprzeciwiał się tej wojnie, popadł w konflikt z ministrem kolonii Josephem Chamberlainem. W efekcie został w 1900 r. wysłany na Jamajkę. Do Wielkiej Brytanii powrócił w 1903 r. Wkrótce jednak powrócił na wyspę, gdzie nadzorował usuwanie zniszczeń po huraganie. W tym czasie pełnił obowiązku gubernatora wyspy. Do Wielkiej Brytanii powrócił w 1904 r. i przez trzy lata był głównym sekretarzem Departamentu Zachodniej Afryki i Indii Zachodnich w Ministerstwie ds. Kolonii. W 1907 r. powrócił na Jamajkę jako gubernator wyspy. Otrzymał wówczas Krzyż Komandorski Orderu św. Michała i św. Jerzego.

Olivier pozostał na stanowisku gubernatora do 1913 r. Po powrocie do kraju nie pracował już w Ministerstwie Kolonii. Przez cztery lata był stałym sekretarzem przy Radzie Rolnictwa. W latach 1917–1920 był asystentem kontrolera i audytora Skarbu Jego Królewskiej Mości. W 1920 r. odszedł na emeryturę.