Pochodzenie nazwy i legendy Pochodzenie nazwy Babia Góra tłumaczą liczne legendy ludowe. Jedna z nich mówi, że jest to kupa kamieni wysypanych przed chałupą przez babę – olbrzymkę, według innej to kochanka zbójnika, która skamieniała z żalu widząc, jak niosą jej zabitego ukochanego. Według innych legend nazwa góry pochodzi od tego, że w jaskiniach pod tą górą zbójnicy ukrywali swoje branki. Nazwa może też mieć powiązanie z niektórymi znaczeniami słowa baba (rodzaj ciasta lub kamienny posąg kultowy). Kazimierz Sosnowski podawał o nazwie, iż ...świat uczony wywodzić ją chce od prasłowiańskiego bóstwa „Baba” (...), czczonego jako „matka-żywicielka”. Jednocześnie wskazywał, że powszechnie nazwę góry tłumaczy się jej przysadzistym kształtem, podobnym jakoby do siedzącej baby.
Sławny wójt żywiecki, Andrzej Komoniecki, w swoim „Dziejopisie Żywieckim” pisał w sposób następujący (1728): Także w Babiej Górze jest góra albo gronik, na którym jest kamienna baba tak wyrośniona, a woda z niej idzie. Gdzie tam jest skała, z jednej strony nie przystępno do niej, a z drugiej połogo idzie, i stąd Babia Góra nazwana. Jeszcze bardziej zwodnicza informacja o Babiej Górze pojawiła się w pierwszej polskiej encyklopedii – dziele Benedykta Chmielowskiego pt. „Nowe Ateny” z roku 1745.