Matka była niemiecką Warmianką z podolsztyńskiej wsi Butryny. Rodzice byli katolikami i posługiwali się na co dzień językiem polskim – gwarą warmińską, która wówczas była powszechną mową w południowej Warmii. Jednak w wyniku postępującej germanizacji Feliks i jego rodzeństwo mówili już po niemiecku. W okresie warmińskim Nowowiejski nie ujawniał swojego polskiego pochodzenia. Aż do okresu studiów w Berlinie mówił i pisał tylko po niemiecku.
Nowowiejscy przejawiali zamiłowanie do muzyki. Ojciec należał do chóru Towarzystwa Cecyliańskiego, a matka śpiewała pieśni ludowe. Kilkoro z ich dzieci kształciło się muzycznie. Feliks wykazywał szczególne zdolności, jako dziecko skomponował suitę fortepianową Łatwe tańce klasyczne i współczesne. Rodzice wysłali go do najlepszej w regionie szkoły muzycznej w Świętej Lipce (Musik-Anstalt in Heiligelinde, byłe jezuickie Seminarium Musicum), gdzie w latach 1887–1893 uczył się harmonii, gry na fortepianie, skrzypcach, wiolonczeli, waltorni i organach.