Miary ilości informacji Ilościowym aspektem informacji zajmuje się statystyczno-syntaktyczna teoria informacji Hartleya i Shannona. Miary ilości informacji są w niej oparte na prawdopodobieństwie zajścia zdarzenia. Jako miarę ilości informacji przyjmuje się wielkość niepewności, która została usunięta w wyniku zajścia zdarzenia (otrzymania komunikatu)Stefan Mynarski, Elementy teorii systemów i cybernetyki, 1979, s. 155.. Zdarzenia (komunikaty) mniej prawdopodobne dają więcej informacji. To podejście pomija znaczenie (semantykę), jakie niesie komunikat, a skupia się jedynie na jego składni (syntaktyce).

1. Ilość informacji otrzymanej przy zajściu zdarzenia xi (entropia tego zdarzenia, entropia indywidualna) to (Hartley 1928):

gdzie: – ilość informacji otrzymanej przy zajściu zdarzenia xi, – prawdopodobieństwo zajścia zdarzenia xi, – podstawa logarytmu.

W teorii informacji najczęściej stosuje się logarytm o podstawie = 2, wówczas jednostką informacji jest bit (szanon). Przy = e jednostką jest nat (nit), natomiast przy = 10 – dit (hartley).