Wkrótce porzucił prawo na rzecz muzyki – w Instytucie studiował kompozycję u Martina Wegeliusa (1882–1906) i doskonalił umiejętności pianistyczne u włoskiego wirtuoza Ferruccio Busoniego (1866–1924).
W latach 1890–1893 kształcił się z zakresu kompozycji i teorii muzyki u niemieckiego kompozytora Alberta Beckera (1834–1899) w Berlinie. W Niemczech zetknął się z twórczością Richarda Wagnera (1813–1883), co miało wpływ na jego działalność artystyczną. Inspiracją stały się interpretacje Wagnera pod batutą Hansa von Bülowa (1830–1894) i Karla Mucka (1859–1940). Wówczas również zaprzyjaźnił się z austriackim kompozytorem i dyrygentem Felixem Weingartnerem (1863–1942).
W latach 1893–1894 Järnefelt przebywał w Paryżu, gdzie kształcił się pod okiem francuskiego kompozytora Jules’a Masseneta (1842–1912).
W 1893 roku Järnefelt ożenił się ze śpiewaczką operową Maikki Pakarinen (1871–1929), z którą razem pracowali w Operze Wrocławskiej, operze w Magdeburgu i Düsseldorfie – ona jako śpiewaczka, a on jako dyrygent. W 1898 roku Järnefeltowie wrócili do Finlandii, gdzie Järnefelt został dyrygentem niewielkiej orkiestry w Wyborgu. W latach 1904–1906 Järnefelt wystawiał opery w Fińskim Teatrze Narodowym, jednocześnie pracował jako dyrygent w Teatrze Królewskim w Sztokholmie.