Po kilku latach pracy w Ontario Varley przeniósł się do Vancouver, gdzie w latach 1926–1933 był kierownikiem Katedry Rysunku i Malarstwa w School of Decorative and Applied Arts. Był pod silnym wpływem uroku krajobrazu Kolumbii Brytyjskiej, co wywarło istotny wpływ na jego sztukę. Jako zapalonym turysta przemierzał nadbrzeżne góry Kolumbii Brytyjskiej malując ich widoki. Wywarł wpływ na wielu lokalnych artystów, w tym Charlesa Scotta i Jocka McDonalda. Uczył nie tylko w szkole, ale udzielał również lekcji prywatnych. W czasie wielkiej depresji szkoła zmniejszyła jego wynagrodzenie, więc Varley na znak protestu odszedł. Razem z kolegą Jockiem Macdonaldem otworzyli nową szkołę pod nazwą B.C. College of the arts, której działalność zakończyła się bankructwem niecałe dwa lata później. W tym czasie opuściła go też żona. Varley postanowił wyjechać z Vancouver. Przeniósł się do Montrealu, gdzie przez wiele lat zmagał się z alkoholizmem. Po uporaniu się z nałogiem wyjechał do Ontario i ponownie zaczął malować. W poszukiwaniu tematów odwiedzał odległe regiony Kanady.

W 1938 odbył podróż do Arktyki na pokładzie rządowego statku zaopatrzeniowego Nascopie. W 1944 powrócił do Toronto.