Binarna waga słów — najprostszy schemat (metoda) określania relatywności dokumentu względem termu (zadanej frazy, słowa)Text Clustering using bursty information. Określa współczynnik , gdzie gdy termin występuje w dokumencie , a w przeciwnym razie.Introduction to Information Retrieval
Gdzie: – waga termu w dokumencie (w kolekcji dokumentów), – indeks termu (np. słowa), – indeks dokumentu.
Metoda ta koduje wyłącznie informacje o wystąpieniu termu w dokumencie (bez uwzględniania liczby wystąpień): – gdy termin występuje w dokumencie, – gdy termin nie występuje w dokumencie.
Wagi są przypisywane do terminów w pliku indeksu. Metoda ta jest wykorzystywana przez najprostsze wyszukiwarki, które stwierdzają jedynie występowanie słowa w zaindeksowanym dokumencie. Im bardziej wyrafinowana wyszukiwarka, tym bardziej złożony schemat ważenia. +Przykład klasyfikacjilp.amitybigistudentuniversity111001210111
Definicja formalna i interpretacja W ujęciu formalnym binarna waga jest funkcją wystąpienia (ang. occurrence) termu: waga jest równa 1, jeśli częstość termu w dokumencie jest dodatnia, w przeciwnym razie 0.
W zapisie z częstościami można to przedstawić jako:
co odpowiada binarnej (0/1) macierzy incydencji termin–dokument (ang. term-document incidence matrix). Związek z modelami wyszukiwania informacji Binarne ważenie jest naturalne dla modelu boolowskiego: dokument jest traktowany jako zbiór terminów, a zapytania mają postać wyrażeń logicznych (AND/OR/NOT); w konsekwencji wyszukiwanie może być opisywane operacjami na wektorach 0/1 (np. AND jako iloczyn logiczny). W podejściu probabilistycznym binarna reprezentacja jest explicite założeniem w klasycznym modelu probabilistycznym znanym jako Binary Independence Model (BIM): „binary” jest tu równoważne boolowskiemu, a dokumenty i zapytania są reprezentowane jako binarne wektory incydencji terminów.
Porównanie z TF i TF–IDF Podstawowym ograniczeniem binarnego schematu jest utrata informacji o liczbie powtórzeń termu w dokumencie (każde wystąpienie „liczy się” tak samo jak jedno). W literaturze porównywano jednak binarne wagi z wagami opartymi na częstości (TF) oraz z wariantami uwzględniającymi globalny czynnik odwrotnej częstości dokumentów (IDF); dla pewnych kolekcji wagi binarne mogą wypadać lepiej przy niskich poziomach recall, podczas gdy TF bywa korzystniejsze przy wysokim recall, natomiast połączenie TF z IDF może dawać wyraźnie lepsze wyniki całościowo.
Zastosowania w klasyfikacji tekstu Binarna reprezentacja występowania terminów jest powszechnie używana także poza klasycznym wyszukiwaniem, m.in. w klasyfikacji tekstu w wariancie multivariate Bernoulli dla naiwnego Bayesa, gdzie cechami są binarne wskaźniki obecności słów (bez liczników wystąpień). Przypisy
Kategoria:Wyszukiwarki internetowe