Łatwo zauważyć implikację w jedną stronę: jeśli są niezależne, to a więc:
Powiązania z innymi funkcjami Informację wzajemną można zdefiniować równoznacznie jako:
gdzie H(X) i H(Y) oznaczają entropie, H(X|Y) i H(Y|X) oznaczają entropie warunkowe, a H(X,Y) entropię produktową.
Warto zauważyć, że a więc Podobnie jeśli Y jest funkcją X, to znajomość X determinuje wartość Y, i wtedy
Zastosowanie informacji wzajemnej W wielu zastosowaniach ważne jest maksymalizowanie informacji wzajemnej, co często oznacza minimalizowanie entropii warunkowej. Przykłady: przepustowość kanału komunikacyjnego, która jest maksymalną możliwą do uzyskania wzajemną informacją pomiędzy wejściem a wyjściem z kanału w kryptologii teoretycznej i kwantowej przy ocenie bezpieczeństwa bezwarunkowego systemów szyfrowania w uczeniu maszynowym przez zastosowanie ukrytych modeli Markowa (HMM) porównywanie modeli językowych w lingwistyce komputerowej rekonstrukcja obrazu w tomografii komputerowej dla zastosowań medycznych nakładanie obrazów (ang. image registration).
Kategoria:Miary zależności Kategoria:Teoria informacji