Clasament invers mediu

Inverse Mean Rank (MRR) este o evaluare statistică a răspunsurilor unui proces la cereri, ordonate după probabilitate și corectitudine. Caracterizează eficacitatea regăsirii informațiilor . Rangul invers înseamnă în acest caz reciproca numărului (rangul) primului răspuns corect din lista de răspunsuri. Rangul invers mediu este definit ca media rangurilor inverse pentru toate interogările Q: [1]

{\text{MRR}}={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{{\text{rank} }_{i}}}.\!

unde înseamnă poziția primului document relevant pentru interogarea i . ${\text{rank}}_{i}$

Reciproca mediei inverse corespunde mediei armonice dintre ranguri.

Exemplu

Luați în considerare trei interogări care traduc cuvintele rusești de la singular la genitiv plural. În toate cazurile din acest exemplu, sistemul face trei încercări, primele încercări sunt considerate de sistem ca fiind cele mai corecte:

Cerere	Răspunsuri	Răspuns corect	Rang	rang invers
poker	poker, poker, poker	poker	3	1/3
lovituri	lovit, lovit , lovit	lovit	2	1/2
turc	Turci , turci, turci	turc	unu	unu

Din aceste exemple, calculăm rangul invers mediu ca (1/3 + 1/2 + 1)/3 = 11/18 , care este aproximativ 0,61.

Dacă niciunul dintre răspunsuri nu este corect, rangul invers mediu este considerat a fi 0. Rețineți că numai primul răspuns relevant este luat în considerare, iar răspunsurile relevante ulterioare sunt ignorate.

Vezi și

Link -uri

D.R.Radev; H. Qi; H. Wu; W. Fan (2002). „Evaluarea sistemelor de răspuns la întrebări bazate pe web”. Procedurile LREC-urilor .

Note

↑ E. M. Voorhees (1999). „Proceedings of the 8th Text Retrieval Conference”. TREC-8 Raport de urmărire a răspunsurilor la întrebări . pp. 77-82.
↑ D. R. Radev, H. Qi, H. Wu, W. Fan (2002). Evaluarea sistemelor de răspuns la întrebări bazate pe web . Procesele LREC.