Nel contesto dell'information retrieval, il modello basato su spazi vettoriali (, VSM) è un modello algebrico utilizzato per la rappresentazione di documenti di testo (e di qualsiasi oggetto informativo in generale) sotto forma di vettori in uno spazio multidimensionale . Oltre che nell'information retrieval, esso trova applicazione nell'estrazione dell'informazione, nel filtraggio dei contenuti e nei sistemi di indicizzazione dei motori di ricerca.

Storia

Il modello è stato introdotto originariamente da Gerald Salton e dal suo gruppo di ricerca all'Università di Cornell all'interno del progetto SMART Information Retrieval System .

Inizialmente progettato per l'indicizzazione automatica di sommari di articoli scientifici, il VSM è diventato il paradigma dominante nel campo dell'Information Retrieval negli anni '70 e '80, ponendo le basi teoriche per i primi motori di ricerca e i sistemi di calcolo della rilevanza dei testi.

Descrizione del modello

Un documento appartiene a un corpus di documenti ed è rappresentato come un vettore in uno spazio dove ogni dimensione corrisponde a un termine distinto presente nell'intero vocabolario del corpus:

Se il vocabolario contiene termini unici, lo spazio vettoriale avrà dimensione . Il vettore relativo al documento è definito come:

dove rappresenta il peso del termine -esimo nel documento . Se un termine non compare nel documento, il suo peso assume valore zero ().

Allo stesso modo, un'interrogazione dell'utente (query) viene trattata come un breve documento e convertita in un vettore nello stesso spazio vettoriale:

Ponderazione dei termini

I pesi assegnati ai singoli termini determinano l'importanza della parola all'interno del documento e rispetto all'intero corpus. Lo schema di ponderazione più noto e diffuso è il TF-IDF (Term Frequency - Inverse Document Frequency) .

1. Term Frequency (TF): misura la frequenza relativa di un termine all'interno di un documento :

2. Inverse Document Frequency (IDF): valuta quanto un termine sia raro o informativo rispetto alla collezione di documenti:

3. Peso TF-IDF: è il prodotto delle due componenti:

Calcolo della similarità

Per valutare la rilevanza di un documento rispetto alla query , il VSM calcola l'angolo compreso tra i rispettivi vettori. La misura standard è la similarità del coseno, che normalizza la lunghezza dei vettori impedendo che i documenti più lunghi risultino avvantaggiati solo per la maggiore quantità di testo :

I documenti della collezione vengono infine ordinati (ranking) in base al valore decrescente del punteggio di similarità ottenuto.

Esempio Si consideri una collezione composta da due soli brevi documenti: : "gatto cane gatto" : "cane topo"

Il vocabolario unico è ().

Usando la sola frequenza dei termini (TF semplice) come peso dei vettori:

Se l'utente esegue la query : "gatto topo", il relativo vettore sarà .

Calcolando la similarità del coseno tra e i due documenti: per :

per :

Il sistema restituirà dunque come primo risultato (più rilevante) e come secondo.

Vantaggi e limiti

Vantaggi Semplicità e fondamento algebrico: si basa sull'algebra lineare semplice e intuitiva. Ordinamento continuo: a differenza del modello booleano, consente di restituire un elenco graduato dei documenti in base alla loro rilevanza teorica . Supporto per ricerche parziali: un documento può essere recuperato anche se contiene solo un sottoinsieme dei termini presenti nella query.

Limiti Ipotesi di indipendenza (Bag of Words): assume che i termini siano indipendenti tra loro e ignora la sintassi e la struttura sequenziale del testo (modello bag of words). Dimensione e sparsità: con vocabolari di grandi dimensioni, le matrici documento-termine diventano estremamente grandi e sparse. Sinonimia e polisemia: non gestisce nativamente la sinonimia (parole diverse con lo stesso significato) né la polisemia (stessa parola con significati diversi).

Per superare tali limiti sono state introdotte estensioni del modello che riducono la dimensionalità dello spazio identificando concetti latenti .

Estensioni ed evoluzione

Modello a spazio vettoriale generalizzato (GVSM): abbandona l'ipotesi di ortogonalità tra i termini del vocabolario, introducendo la correlazione tra parole nello spazio vettoriale. Analisi della semantica latente: applica la decomposizione ai valori singolari (SVD) alla matrice documento-termine per proiettare i vettori in uno spazio semantico a dimensionalità ridotta . Word embedding e vettori densi: nei moderni sistemi basati su apprendimento automatico e transformer, i vettori sparsi basati sul conteggio delle parole sono stati affiancati da vettori densi (ad es. Word2vec, BERT) e database vettoriali che applicano la distanza del coseno in spazi semantici continui.

Note

Voci correlate

Information retrieval Misure di similarità Modello della borsa di parole Motore di ricerca TF-IDF

Categoria:Recupero dell'informazione Categoria:Elaborazione del linguaggio naturale Categoria:Algebra lineare