Twoim dzieciom to nie przeszkadza”. Joyce odpowiedział: „Ach, oni nie mają religii”.. Miał również lęk przed morzem. W pewnym okresie zaczął bać się wiary.
Już w młodym wieku postanowił zostać pisarzem. W 1891 roku Joyce napisał wiersz ku czci Charlesa Parnella, „niekoronowanego króla Irlandii”, pod tytułem Et tu Healy. Jego ojciec wydrukował to dziełko i wysłał do Biblioteki Watykańskiej, a w listopadzie tego roku opublikował je w „Stubbs Gazette”. W 1893 ojciec zrezygnował z pracy, co stało się powodem nędzy rodzinnej i zmusiło młodego Joyce’a do nauki w domu. W tym czasie ojciec John popadł w alkoholizm, James opisywał to później w opowiadaniach Dublińczycy. Następnie James przeniesiony został do szkoły jezuickiej Belvedere.
W wieku 16 lat porzucił wiarę. Odmówił wtedy swojej matce przyjęcia komunii w czasie Wielkanocy, co opisał również w swej autobiograficznej książce Portret artysty z czasów młodości. Tłumaczył to swoim strachem przed ewentualną prawdziwością religii. Pomimo nieprzyznawania się do wiary, studiował namiętnie filozofię św. Tomasza z Akwinu, którego estetyka była podstawą filozoficzną jego twórczości. Gdy miał 17 lat, wielki wpływ wywarła na niego lektura dzieł Henryka Ibsena. Nauczył się norweskiego, żeby czytać Ibsena w oryginale. Łącznie Joyce znał 17 języków.