В математичній статистиці розхо́дження, диверге́нція або ві́дстань Кульбака — Лейблера (що також називають відно́сною ентропі́єю, ) є мірою того, наскільки один розподіл імовірності відрізняється від іншого, еталонного розподілу ймовірності. . Republished by in 1968; reprinted in 1978: . До його застосувань належать відно́сна (шеннонова) ентропі́я в інформаційних системах, випадко́вість () у неперервних часових рядах, та при́ріст інформа́ції () при порівнюванні статистичних моделей висновування. На противагу до , воно є асиметричною міжрозподіловою мірою, і відтак не відповідає вимогам статистичної метрики розкиду. В простому випадку нульове розходження Кульбака — Лейблера показує, що два розглядані розподіли є ідентичними. Простішими словами, воно є мірою несподіваності, з різноманітними застосуваннями, такими як прикладна статистика, гідромеханіка, нейронаука та машинне навчання.
Етимологія
Розходження Кульбака — Лейблера було запропоновано 1951 року Соломоном Кульбаком та як орієнто́ване розхо́дження () між двома розподілами; Кульбак віддавав перевагу термінові інформа́ція розрі́знення (). Це розходження обговорено в книзі Кульбака 1959 року «Теорія інформації та статистика».
Означення
Для дискретних розподілів ймовірності та , визначених на одному й тому ж імовірнісному просторі, розходженням Кульбака — Лейблера означено
що є рівнозначним
Іншими словами, воно є математичним сподіванням логарифмічної різниці між імовірностями та , де математичне сподівання беруть із застосуванням ймовірностей . Розходження Кульбака — Лейблера можливо визначити лише якщо для будь-якого означає (абсолютна неперервність). Коли є нулем, внесок відповідного члену розцінюють як нульовий, оскільки
Для розподілів та неперервної випадкової змінної розходженням Кульбака — Лейблера означують інтегралBishop C. (2006). Pattern Recognition and Machine Learning
де символами та позначено густини імовірності та .
Загальніше, якщо та є ймовірнісними мірами над множиною , а є абсолютно неперервною щодо , то розходженням Кульбака — Лейблера від до означують
де є похідною Радона — Нікодима щодо , і за умови існування правобічного виразу. Це може бути рівнозначно (згідно ланцюгового правила) записано як
що є ентропією відносно . У продовження цього випадку, якщо є будь-якою мірою на , для якої існують та (що означає, що та є абсолютно неперервними щодо ), то розходження Кульбака — Лейблера від до задають як
Логарифми в цих формулах беруть за основою 2, якщо інформацію вимірюють в одиницях бітів, або за основою , якщо інформацію вимірюють в натах. Більшість формул, що залучають розходження Кульбака — Лейблера, виконуються не залежно від основи логарифму.
Існують різні угоди, як посилатися на словами. Часто на нього посилаються як на розходження між та , проте, це не передає фундаментальної асиметричності в цьому відношенні. Іноді, як у цій статті, можна знайти його опис як розходження від, або щодо . Це віддзеркалює асиметричність баєсового висновування, що починається від апріорного , і уточнюється до апостеріорного .
Простий приклад
Кульбак наводить простий приклад (таблиця 2.1, приклад 2.1). Нехай та є розподілами, показаними в таблиці й на малюнку. є розподілом з лівого боку малюнку, біноміальним розподілом з та . є розподілом з правого боку малюнку, дискретним рівномірним розподілом з трьома можливими результатами, , чи (тобто, ), кожен з імовірністю .
x 0 1 2 Розподіл P(x) 0.36 0.48 0.16 Розподіл Q(x) 0.333 0.333 0.333
КЛ-розходження та обчислюють із застосуванням означення () наступним чином. Цей приклад використовує натуральний логарифм з основою e, позначуваний , щоби отримати результати в натах (див. Одиниці вимірювання інформації).
Інтерпретації
Розходження Кульбака — Лейблера від до часто позначують через .
В контексті машинного навчання часто називають , отримуваним при застосовуванні замість . За аналогією з теорією інформації, його також називають відно́сною ентропі́єю () щодо . В контексті теорії кодування можливо тлумачити як вимірювання математичного сподівання числа додаткових бітів, необхідних для кодування зразків з із застосуванням коду, оптимізованого для , замість коду, оптимізованого для .
Виражене мовою баєсового висновування, є мірою приросту інформації при перегляді переконань від апріорного розподілу ймовірності до апостеріорного розподілу ймовірності . Іншими словами, це величина інформації, що втрачається при застосуванні для наближення . У застосуваннях зазвичай представляє «істинний» розподіл даних, спостережень, або точно обчислений теоретичний розподіл, тоді як зазвичай представляє теорію, модель, опис, або наближення . Щоби знаходити розподіл , який є найближчим до , ми можемо мінімізувати КЛ-розходження, обчислюючи .
Розходження Кульбака — Лейблера є окремим випадком ширшого класу , що називають , а також класу . Воно є єдиним таким розходженням над імовірностями, що належить до обох класів. І хоч його й часто інтуїтивно сприймають як спосіб вимірювання відстані між розподілами ймовірності, розходження Кульбака — Лейблера не є справжньою метрикою. З ним не дотримується нерівність трикутника, і в загальному випадку не дорівнює . Проте, його вигляд, а саме його гессіан, дає метричний тензор, відомий як .
Характеризування
Артур Гобсон довів, що розходження Кульбака — Лейблера є єдиною мірою відмінності між розподілами ймовірності, яка задовольняє деякі бажані властивості, що є канонічним розширенням присутніх у широко вживаному характеризуванні ентропії. Отже, взаємна інформація є єдиною мірою взаємної залежності, яка дотримується певних пов'язаних умов, оскільки її може бути визначено в термінах розходження Кульбака — Лейблера.
Існує також баєсове характеризування розходження Кульбака — Лейблера.
Обґрунтування
В теорії інформації теорема Крафта — Макміллана встановлює, що будь-яку безпосередньо розкодовувану схему кодування для кодування повідомлення для виявляння одного значення з ряду можливостей можливо розглядати як представлення неявного розподілу ймовірності над , де є довжиною коду для в бітах. Отже, розходження Кульбака — Лейблера можливо інтерпретувати як математичне сподівання додаткової довжини повідомлення над рівнем, яка мусить передаватися, якщо застосовується код, що є оптимальним для заданого (неправильного) розподілу , в порівнянні з застосуванням коду, що ґрунтується на істинному розподілі .
де є перехресною ентропією та , а є ентропією .
Зауважте також, що існує зв'язок між розходженням Кульбака — Лейблера та в . Novak S.Y. (2011), Extreme Value Methods with Applications to Finance ch. 14.5 (Chapman & Hall). .
Властивості
Розходження Кульбака — Лейблера є завжди невід'ємним,
результат, відомий як , з нульовим якщо і лише якщо майже скрізь. Ентропія відтак встановлює мінімальне значення для перехресної ентропії , математичного сподівання числа бітів, необхідних при використанні коду на основі замість , і, відтак, розходження Кульбака — Лейблера представляє математичне сподівання числа додаткових бітів, що мусять передаватися, щоби ідентифікувати значення , вибране з , якщо застосовується код, що відповідає розподілові ймовірності , а не «істинному» розподілові .
Розходження Кульбака — Лейблера залишається однозначно означеним і для неперервних розподілів, а до того ж ще й інваріантним відносно перетворень параметрів. Наприклад, якщо здійснюють перетворення змінної на змінну , то, оскільки та , розходження Кульбака — Лейблера може бути переписано:
де та . І хоча й передбачалося, що перетворення було неперервним, але це не є обов'язковим. Це також показує, що розходження Кульбака — Лейблера дає розмірнісно стійку величину, оскільки якщо є змінною з розмірністю, то та також мають розмірності, бо, наприклад, розмірностей не має. Аргумент логарифмічного члену є й залишається безрозмірнісним, як він і мусить. Отже, це можливо розглядати як певним чином фундаментальнішу величину, ніж деякі інші властивості в теорії інформаціїДив. розділ «differential entropy – 4» у відео-лекції Серхіо Верду «Relative Entropy» з 2009 (такі як власна інформація та шеннонова ентропія), що для не дискретних ймовірностей можуть ставати невизначеними або від'ємними.
Розходження Кульбака — Лейблера є для незалежних розподілів практично так само, як і шеннонова ентропія. Якщо є незалежними розподілами, зі спільним розподілом , і аналогічно, то
Розходження Кульбака — Лейблера є опуклим в парі функцій маси ймовірності , тобто, якщо та є двома парами функцій маси ймовірності, то
Приклади
Багатовимірні нормальні розподіли
Припустімо, що ми маємо два багатовимірні нормальні розподіли з середніми та з (невиродженими) коваріаційними матрицями Якщо ці два розподіли мають однакову розмірність, , то розходження Кульбака — Лейблера між ними є таким:Duchi J., "Derivations for Linear Algebra and Optimization ",
Логарифм в крайньому члені мусить братися за основою e, оскільки всі члени, крім крайнього, є логарифмами за основою e виразів, що є або коефіцієнтами функції густини, або інакше виникають натурально. Тож це рівняння дає результат, вимірюваний в натах. Ділення всього наведеного вище виразу на дає розходження в бітах.
Особливим випадком, що є широко вживаною величиною у , є КЛ-розходження між діагональним багатовимірним нормальним, та стандартним нормальним розподілами:
Відношення до метрик
Можна було би спокуситися назвати розходження Кульбака — Лейблера «метрикою відстані» на просторі розподілів імовірності, але це не буде правильним, оскільки воно не є симетричним, тобто, , як і не задовольняє воно нерівність трикутника. Незважаючи на це, будучи , воно породжує топологію на просторі розподілів імовірності. Конкретніше, якщо є послідовністю розподілів, такою, що
то кажуть, що
З випливає, що
де крайнє відповідає звичайній збіжності в повній варіації.
Далі Реньї (1970, 1961)
Інформаційна метрика Фішера
Розходження Кульбака — Лейблера є безпосередньо пов'язаним з . Це можна зробити явним наступним чином. Припустімо, що обидва розподіли ймовірності та параметризовано деяким (можливо, багатовимірним) параметром . Розгляньмо тоді два близькі значення та , такі, що параметр відрізняється лише на невелику величину від значення параметру . Конкретно, до першого порядку матимемо (із застосуванням ейнштейнового запису підсумовування)
де є невеличкою зміною в напрямку , а є відповідним темпом зміни в розподілі ймовірності. Оскільки розходження Кульбака — Лейблера має нульовий абсолютний мінімум для , тобто, , воно змінюється в маленьких параметрах лише до другого порядку. Формальніше, як і для будь-якого мінімуму, перша похідна цього розходження зникає
і за розкладом Тейлора маємо до другого порядку
де матриця Гессе розходження
мусить бути додатно напівозначеною. Якщо дозволити змінюватися (й опустити підіндекс 0), то гессіан визначатиме (можливо, вироджену) ріманову метрику на просторі параметру , що називають інформаційною метрикою Фішера.
Теорема інформаційної метрики Фішера
Коли задовольняє наступні нормативні умови:
існують,
де є незалежною від
тоді
Відношення до інших величин теорії інформації
Багато інших величин теорії інформації можливо інтерпретувати як застосування розходження Кульбака — Лейблера до особливих випадків.
Власна інформація
Власну інформацію, відому також як інформаційний вміст сигналу, випадкової змінної або події, означено як від'ємний логарифм імовірності трапляння заданого результату.
При застосуванні до дискретної випадкової змінної власну інформацію може бути представлено як
є розходженням Кульбака — Лейблера розподілу ймовірності від дельти Кронекера, що представляє впевненість, що — тобто, число додаткових біт, що мусить бути передано, щоби ідентифікувати , якби отримувачеві був доступним розподіл імовірності , а не той факт, що .
Взаємна інформація
Взаємна інформація