Il Mean Reciprocal Rank (MRR), rank reciproco medio, è un indice statistico per valutare un processo che produce una lista di possibili risposte ad una interrogazione (query), ordinate per probabilità di correttezza.
Definizione Il reciproco del rank di una risposta ad una query è l'inverso della posizione (rank) della prima risposta corretta nella lista ordinata delle risposte. Il MRR è la media dei rank reciproci dei risultati per un insieme di query Q:
La formula
Esempio Per esempio supponiamo di avere le tre seguenti query per un sistema che cerca di tradurre parole inglesi nel loro plurale. In ogni caso il sistema riporta tre possibili risultati ordinati secondo la probabilità di essere corretti:
Query Risultati Risposta corretta Rank Reciprocal rank cat catten, cati, cats cats 3 1/3 torus torii, tori, toruses tori 2 1/2 virus viruses, virii, viri viruses 1 1
Ora è possibile procedere al calcolo dell'MRR: (1/3 + 1/2 + 1)/3 = 11/18, cioè
MRR = 0.61
Questa definizione di base non specifica cosa fare se: nessuno fra i risultati è corretto, in questo caso si usa reciprocal rank 0; ci sono più risposte corrette nella lista, si consideri di usare la mean average precision (MAP).
Note
Voci correlate Information retrieval Question answering
Categoria:Indicatori statistici Categoria:Recupero dell'informazione