Rodzice zabrali Laurę i Javiera na lodowisko Diamond w Aluche, gdy Laura miała 2,5 roku, zaś Javier był niemowlakiem. Sami chętnie chodzili na lodowisko jeszcze w czasach narzeczeńskich i chcieli, aby ich dzieci również nauczyły się jeździć na łyżwach. Fernández rozpoczął naukę łyżwiarstwa w wieku sześciu lat, gdy zobaczył jak jeździ jego siostra Laura. Długo wahał się między wyborem dyscypliny, którą chce trenować, rozważając jeszcze tenis ziemny i piłkę nożną. Jednak po pół roku od wstąpienia Laury do szkoły łyżwiarskiej Majadahonda SC dołączył do niej. Rodzeństwo przeniosło się do miasta Jaca z matką, zaś ojciec został w stolicy. Jednak Javier nie robił tam wystarczających postępów w łyżwiarstwie i był wyśmiewany przez rówieśników, którzy uważali, że „łyżwiarstwo figurowe jest sportem dla gejów”. Javier wylądował swój pierwszy potrójny skok łyżwiarski – potrójnego salchowa mając 12 lat, zaś do 16 roku życia wylądował czysto pierwszego potrójnego axla.