Uogólnione modele addytywne (, GAM) – klasa modeli statystycznych rozszerzająca uogólnione modele liniowe przez zastąpienie liniowej zależności od predyktorów sumą nieznanych, zwykle gładkich funkcji tych predyktorów. Model ma postać
gdzie jest funkcją łączącą, zmienną objaśnianą, predyktorami, a są funkcjami estymowanymi z danych.
GAM-y łączą elastyczność modeli nieparametrycznych z interpretowalnością modeli regresyjnych. Pozwalają modelować zależności nieliniowe bez wcześniejszego ustalania konkretnej postaci funkcji, na przykład kwadratowej, logarytmicznej lub wykładniczej. Jednocześnie zachowują strukturę addytywną, dzięki czemu wpływ poszczególnych zmiennych można przedstawiać i interpretować osobno.
Definicja Niech będzie zmienną objaśnianą, a wektorem predyktorów. W klasycznym uogólnionym modelu addytywnym zakłada się, że warunkowy rozkład należy do rodziny wykładniczej, a warunkowa wartość oczekiwana spełnia równanie
gdzie jest funkcją łączącą, a predyktor addytywny ma postać
Funkcje są zwykle zakładane jako gładkie i estymowane z danych. W praktyce przedstawia się je za pomocą baz funkcyjnych, na przykład baz splajnowych, oraz dobiera stopień wygładzenia przez karanie zbyt dużej krzywizny funkcji.
W modelu mogą występować także składniki parametryczne, na przykład zmienne kategorialne albo efekty liniowe:
Takie modele są czasem określane jako częściowo parametryczne, ponieważ łączą klasyczne parametry regresyjne z nieparametrycznymi funkcjami gładkimi.
Intuicja W zwykłym modelu liniowym zakłada się zależność postaci
Oznacza to, że wpływ każdej zmiennej jest prostoliniowy na skali odpowiedzi.
W uogólnionym modelu liniowym dopuszcza się inną skalę przez funkcję łączącą:
Przykładem jest regresja logistyczna, gdzie modeluje się logit prawdopodobieństwa sukcesu.
W uogólnionym modelu addytywnym zamiast prostych składników używa się gładkich funkcji
Dzięki temu zależność może być nieliniowa, ale pozostaje addytywna. Model liniowy i uogólniony model liniowy są więc szczególnymi przypadkami modelu GAM, w których funkcje są liniowe.
Przykłady Regresja gaussowska Jeżeli zmienna objaśniana jest ciągła i zakłada się rozkład normalny z funkcją łączącą identycznościową, model ma postać
gdzie oznacza składnik losowy. Jest to addytywny odpowiednik klasycznej regresji liniowej.
Regresja logistyczna addytywna Dla zmiennej binarnej można użyć funkcji logit:
Model ten pozwala opisać nieliniowy wpływ predyktorów na logarytm ilorazu szans.
Regresja Poissona addytywna Dla danych zliczeniowych często stosuje się rozkład Poissona z logarytmiczną funkcją łączącą:
Taki model może być używany na przykład do modelowania liczby zdarzeń w czasie lub przestrzeni.
Funkcje wygładzające W praktyce funkcje nie są estymowane jako zupełnie dowolne funkcje. Zwykle zapisuje się je jako kombinacje funkcji bazowych:
gdzie są funkcjami bazowymi, a współczynnikami estymowanymi z danych.
Do najczęściej używanych wygładzeń należą: splajny regresyjne; B-splajny; splajny kubiczne; cienkopłytowe splajny regresyjne; wygładzenia cykliczne dla zmiennych okresowych; wygładzenia tensorowe dla interakcji zmiennych ciągłych.
W wielu implementacjach dobiera się nie tylko współczynniki funkcji bazowych, lecz także parametry wygładzenia określające kompromis między dopasowaniem do danych a gładkością krzywej.
Estymacja Współczesne GAM-y estymuje się najczęściej przez maksymalizację karanej funkcji wiarygodności. W uproszczonej postaci maksymalizuje się wyrażenie
gdzie jest logarytmem wiarygodności, macierzą kary dla -tego składnika gładkiego, a parametrem wygładzenia.
Duże wartości wymuszają silniejsze wygładzenie funkcji i mogą prowadzić do przebiegów zbliżonych do liniowych. Małe wartości pozwalają funkcji bardziej elastycznie podążać za danymi, ale zwiększają ryzyko przeuczenia.
Pierwotnie GAM-y estymowano między innymi za pomocą algorytmów lokalnego scoringu i backfittingu. We współczesnych implementacjach, takich jak pakiet ‘mgcv’ w R, często stosuje się estymację parametrów wygładzenia metodami takimi jak uogólniona walidacja krzyżowa, AIC, największa wiarygodność lub ograniczona największa wiarygodność.
Stopnie swobody W modelach GAM ważnym pojęciem są efektywne stopnie swobody (ang. effective degrees of freedom, EDF). Dla składnika liniowego efektywna liczba stopni swobody wynosi zwykle około 1. Dla nieliniowej funkcji gładkiej może być większa i odzwierciedlać złożoność oszacowanego kształtu.
Jeżeli składnik ma EDF bliskie 1, jego efekt jest prawie liniowy. Wyższe wartości EDF wskazują na bardziej złożoną nieliniowość. Interpretacja EDF zależy jednak od typu wygładzenia, liczby funkcji bazowych i zastosowanej kary.
Identyfikowalność Aby funkcje były identyfikowalne, stosuje się zwykle warunki centrowania, na przykład
Bez takiego ograniczenia stałą można byłoby dowolnie przenosić między wyrazem wolnym a poszczególnymi funkcjami
Interakcje Klasyczny GAM ma strukturę addytywną, a więc opisuje sumę oddzielnych efektów poszczególnych zmiennych. Nie oznacza to jednak, że nie można modelować interakcji. W praktyce używa się składników zależnych od kilku zmiennych, na przykład
Dla dwóch lub większej liczby zmiennych ciągłych stosuje się między innymi wygładzenia tensorowe, które pozwalają modelować powierzchnie efektu, na przykład zależność od szerokości i długości geograficznej albo od czasu i temperatury.
Diagnostyka modelu Diagnostyka GAM-ów obejmuje zarówno klasyczne elementy diagnostyki regresji, jak i elementy specyficzne dla wygładzeń. Sprawdza się między innymi: reszty i wykresy diagnostyczne; adekwatność wybranej rodziny rozkładu; adekwatność funkcji łączącej; dobór liczby funkcji bazowych; stopień wygładzenia; obserwacje wpływowe; współliniowość i tzw. współkrzywoliniowość (ang. concurvity); stabilność oszacowanych funkcji.
Współkrzywoliniowość jest nieliniowym odpowiednikiem współliniowości. Oznacza sytuację, w której jeden składnik gładki może być dobrze przybliżony przez inne składniki modelu. Może to utrudniać interpretację pojedynczych efektów.
Porównanie z innymi modelami Model liniowy Model liniowy zakłada prostoliniowy wpływ predyktorów na średnią odpowiedzi. GAM pozwala na nieliniowe efekty, ale zachowuje addytywność. Model liniowy można więc traktować jako szczególny przypadek GAM-u.
Uogólniony model liniowy Uogólniony model liniowy ma postać
GAM zastępuje składniki liniowe funkcjami gładkimi:
Zachowana zostaje więc idea funkcji łączącej i rozkładów z rodziny wykładniczej, ale predyktor liniowy zostaje zastąpiony predyktorem addytywnym.
Modele drzewiaste i lasy losowe Modele drzewiaste, lasy losowe i metody boostingu mogą automatycznie wykrywać złożone interakcje i nieliniowości, ale zwykle są mniej przejrzyste jako modele opisowe. GAM-y są często wybierane wtedy, gdy oprócz predykcji ważna jest interpretacja kształtu zależności między predyktorami a odpowiedzią.
Modele czysto nieparametryczne Modele w pełni nieparametryczne mogą być bardziej elastyczne, ale w wysokim wymiarze cierpią na problem przekleństwa wymiarowości. Struktura addytywna GAM-u ogranicza złożoność modelu i ułatwia estymację, choć kosztem nieuwzględnienia wszystkich możliwych interakcji, o ile nie zostaną jawnie dodane do modelu.
Zastosowania Uogólnione modele addytywne stosuje się w wielu dziedzinach, między innymi w: epidemiologii i zdrowiu publicznym; ekologii i naukach o środowisku; ekonomii i finansach; analizie szeregów czasowych; geografii i modelowaniu przestrzennym; ubezpieczeniach; medycynie; marketingu i analizie zachowań klientów; modelowaniu ryzyka; bioinformatyce i naukach przyrodniczych.
GAM-y są użyteczne zwłaszcza wtedy, gdy zależność między zmienną objaśnianą a predyktorem jest nieliniowa, ale badacz chce zachować możliwość przedstawienia efektu predyktora w postaci wykresu jednej funkcji.
Zalety Do najważniejszych zalet GAM-ów należą: możliwość modelowania nieliniowych zależności bez ręcznego wyboru transformacji zmiennych; większa interpretowalność niż w wielu czarnych skrzynkach predykcyjnych; możliwość używania różnych rozkładów odpowiedzi i funkcji łączących; naturalne wykresy efektów cząstkowych; możliwość łączenia składników liniowych, kategorialnych i gładkich; dobra dostępność w pakietach statystycznych.
Ograniczenia Do ograniczeń GAM-ów należą: założenie addytywności, które może być zbyt silne, jeśli istotne są złożone interakcje; ryzyko przeuczenia przy zbyt słabym wygładzeniu; zależność wyników od doboru baz funkcyjnych i parametrów wygładzenia; trudności przy silnej współkrzywoliniowości predyktorów; mniej oczywista interpretacja przy wielu składnikach interakcyjnych; możliwa zawodność ekstrapolacji poza zakres danych treningowych.
GAM nie zwalnia także z podstawowych założeń modelowania statystycznego. Należy sprawdzić adekwatność rozkładu odpowiedzi, niezależność lub strukturę zależności obserwacji, dobór funkcji łączącej oraz wpływ obserwacji odstających.
Uogólnienia Uogólnione addytywne modele mieszane Uogólnione addytywne modele mieszane (ang. generalized additive mixed models, GAMM) łączą funkcje gładkie z efektami losowymi. Stosuje się je na przykład przy danych panelowych, danych z powtarzanymi pomiarami lub danych zagnieżdżonych.
GAMLSS Uogólnione modele addytywne położenia, skali i kształtu (ang. generalized additive models for location, scale and shape, GAMLSS) rozszerzają klasyczne GAM-y przez dopuszczenie modelowania nie tylko średniej, ale także innych parametrów rozkładu, takich jak skala, skośność lub kurtoza. Polskojęzyczne omówienie modeli GAMLSS, splajnów i funkcji sklejanych przedstawiła Anna Lis w pracy poświęconej uogólnionym modelom addytywnym z parametrem położenia, skali i kształtu.
Modele bayesowskie GAM-y można formułować także w ujęciu bayesowskim, traktując funkcje gładkie i parametry wygładzenia jako elementy modelu probabilistycznego z rozkładami a priori. Takie ujęcie jest blisko związane z regresją z procesami Gaussa oraz z modelami hierarchicznymi.
Modele wielowymiarowe i przestrzenne W zastosowaniach przestrzennych i czasoprzestrzennych stosuje się składniki gładkie wielu zmiennych, na przykład dla współrzędnych geograficznych albo dla położenia i czasu. Do ich estymacji używa się m.in. baz tensorowych i cienkopłytowych splajnów regresyjnych.
Pakiety i oprogramowanie R W języku R najważniejszym pakietem do GAM-ów jest mgcv. Pakiet ten implementuje uogólnione modele addytywne, uogólnione addytywne modele mieszane, automatyczną estymację parametrów wygładzenia, liczne rodziny rozkładów oraz funkcję ‘bam’ przeznaczoną do bardzo dużych zbiorów danych.
Starszym i klasycznym pakietem jest gam, rozwijany przez Trevora Hastiego. Udostępnia funkcje do dopasowywania modeli GAM zgodnie z podejściem opisanym w książce Hastiego i Tibshiraniego oraz w rozdziale o modelach addytywnych w Statistical Models in S.
Do modeli GAMLSS służy pakiet gamlss, który umożliwia modelowanie parametrów położenia, skali i kształtu rozkładu odpowiedzi za pomocą predyktorów addytywnych.
Python W języku Python jedną z bibliotek przeznaczonych specjalnie do GAM-ów jest pyGAM. Dokumentacja opisuje ją jako pakiet do budowania uogólnionych modeli addytywnych, z interfejsem znajomym dla użytkowników bibliotek scikit-learn i SciPy.
Biblioteka statsmodels zawiera moduł GAM, w tym klasę ‘GLMGam’, która pozwala na karaną estymację składników gładkich w modelach typu GLM. Dokumentacja wskazuje między innymi obsługę B-splajnów i cyklicznych splajnów kubicznych.
Historia