Dywergencja Jensena-Shannona – miara rozbieżności między dwoma rozkładami prawdopodobieństwa.
Definicja Miara opisana jest następującym wzorem:
gdzie i oznaczają wagi, i oznaczają porównywane rozkłady, a jest funkcją entropii Shannona.
W przypadku dwóch rozkładów opisujących zmienną losową i równych wag wzór na dywergencję Jensena-Shannona jest następujący:
co oznacza, że dywergencję Jensena-Shannona można wyrazić jako średnią dywergencji Kullbacka-Leiblera
gdzie .
Własności Dywergencja Jensena-Shannona jest nieujemna i równa 0 w przypadku identyczności rozkładów. W przeciwieństwie do wielu miar dywergencji rozkładów pozwalających porównywać dwa rozkłady, dywergencja Jensena-Shannona może być uogólniona na dowolną skończoną liczbę rozkładów.
Przypisy
Kategoria:Odległości Kategoria:Miary podobieństwa dwóch rozkładów Kategoria:Teoria informacji