W 1851 region - nazwany od imienia panującej monarchini Wiktorią - uzyskał daleko idącą autonomię w ramach Nowej Południowej Walii, zaś La Trobe został podniesiony do rangi gubernatora porucznika (lieutenant governor). La Trobe uważał, że ma za mało doświadczenia w administracji, aby pełnić tak wysokie stanowisko, dlatego w grudniu 1852 przesłał do Londynu swoją rezygnację. Ze względu na dużą odległość od metropolii jego następca, Charles Hotham, przybył na miejsce dopiero w 1854 i to pod jego rządami Wiktoria stała się w pełni samodzielną kolonią.
Pod koniec pobytu w Australii żona La Trobe’a, Sophie - z pochodzenia Szwajcarka - ciężko zachorowała. Leczenie w Anglii nie przyniosło rezultatów i wkrótce po powrocie do kraju zmarła. La Trobe poślubił półtora roku później swoją owdowiałą szwagierkę Rose Isabelle. Przeżył jeszcze dwadzieścia lat, utrzymując się z dochodów przynoszonych przez dobra, jakie kupił w Melbourne, oraz z przyznanej mu dożywotniej państwowej pensji. Nosił się z zamiarem napisania książki wspomnieniowej na temat swych doświadczeń gubernatorskich, ale na przeszkodzie stanęła mu stopniowa utrata wzroku, jakiej doświadczył na starość.