TF-IDF

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită la 30 ianuarie 2022; verificarea necesită 1 editare .

TF-IDF (din engleză TF - termen frecvență, IDF - inverse document frequency ) este o măsură statistică utilizată pentru a evalua importanța unui cuvânt în contextul unui document care face parte dintr-o colecție de documente sau corpus . Greutatea unui cuvânt este proporțională cu frecvența de apariție a acestui cuvânt în document și invers proporțională cu frecvența de apariție a cuvântului în toate documentele din colecție.

Măsura TF-IDF este adesea folosită în analiza textului și sarcinile de recuperare a informațiilor , de exemplu, ca unul dintre criteriile de relevanță a unui document pentru o interogare de căutare, atunci când se calculează măsura de proximitate a documentelor în timpul grupării .

Structura formulei

TF ( frecvența termenului - frecvența cuvintelor) - raportul dintre numărul de apariții ale unui anumit cuvânt și numărul total de cuvinte din document. Astfel, se evaluează importanța unui cuvânt în cadrul unui singur document. $t_{{i}}$

\mathrm {tf} (t,d)={\frac {n_{t)} {\sum _{k}n_{k)))

unde este numărul de apariții ale cuvântului în document, iar numitorul este numărul total de cuvinte din document. $n_t$ $t$

IDF ( inverse document frequency - inverse document frequency) - inversarea frecvenței cu care apare un anumit cuvânt în documentele colecției. Fondatorul acestui concept este Karen Spark Jones [1] . Contabilizarea IDF reduce greutatea cuvintelor utilizate în mod obișnuit. Există o singură valoare IDF pentru fiecare cuvânt unic dintr-o anumită colecție de documente.

\mathrm {idf} (t,D)=\log {\frac {|D|}{|\{\,d_{i}\in D\mid t\in d_{i}\,\} |}}

, [2]

Unde

|D| — numărul documentelor din colecție;
$|\{\,d_{i}\in D\mid t\in d_{i}\,\}|$ este numărul de documente din colecția în care apare (când ). $D$ $t$ $n_{t}\neq 0$

Alegerea bazei logaritmului în formulă nu contează, deoarece schimbarea bazei modifică ponderea fiecărui cuvânt cu un factor constant, care nu afectează raportul de greutate.

Astfel, măsura TF-IDF este produsul a doi factori:

\operatorname {tf-idf}(t,d,D)=\operatorname {tf}(t,d)\times \operatorname {idf}(t,D)

O pondere mare în TF-IDF va fi acordată cuvintelor cu frecvență mare într-un anumit document și cu frecvență scăzută în alte documente.

Aplicație numerică

Există diverse formule bazate pe metoda TF-IDF. Ele diferă în coeficienți, normalizări, utilizarea scărilor logaritmice. În special, motorul de căutare Yandex a folosit normalizarea pentru cel mai frecvent termen din document pentru o lungă perioadă de timp. .

Una dintre cele mai populare formule este formula BM25 .

Exemplu

Dacă un document conține 100 de cuvinte și cuvântul [3] „iepure” apare de 3 ori în el, atunci frecvența cuvântului (TF) pentru cuvântul „iepure” din document va fi 0,03 (3/100). Să calculăm IDF ca un logaritm zecimal al raportului dintre numărul tuturor documentelor și numărul de documente care conțin cuvântul „iepure”. Astfel, dacă „iepura” este conținută în 1000 de documente din 10.000.000 de documente, atunci IDF va fi egal cu: log(10.000.000/1000) = 4. Pentru a calcula valoarea finală a ponderii cuvântului, TF trebuie înmulțit cu IDF. În acest exemplu, ponderea TF-IDF pentru cuvântul „iepure” din documentul selectat ar fi: 0,03 × 4 = 0,12.

Aplicație în modelul de spațiu vectorial

Măsura TF-IDF este adesea folosită pentru a reprezenta documente dintr-o colecție ca vectori numerici care reflectă importanța utilizării fiecărui cuvânt dintr-un anumit set de cuvinte (numărul de cuvinte din set determină dimensiunea vectorului) în fiecare document. Un astfel de model se numește model vectorial și face posibilă compararea textelor prin compararea vectorilor care le reprezintă într-o anumită metrică ( distanța euclidiană , măsura cosinusului , distanța Manhattan , distanța Chebyshev etc.), adică efectuând analize cluster .

Vezi și

Note

↑ Jones, 2004 .
↑ Unele versiuni ale formulei nu folosesc logaritmi.
↑ De obicei, înainte de analiza documentului, cuvintele sunt aduse la forma normală de către analizatorul morfologic.

Literatură

Jones KS O interpretare statistică a specificității termenului și aplicarea acesteia în regăsire (engleză) // Journal of Documentation : journal. - Universitatea MCB: MCB University Press, 2004. - Vol. 60 , nr. 5 . - P. 493-502 . — ISSN 0022-0418 .
Salton J.Sisteme dinamice de recuperare a bibliotecii. M .: - Mir, 1979.
Salton, G. și McGill, MJ 1983 Introducere în regăsirea modernă a informațiilor . McGraw-Hill, ISBN 0-07-054484-0 .
Salton, G., Fox, EA și Wu, H. 1983 Extended Boolean Information Retrieval. comun. ACM 26, 1022-1036.
Salton, G. și Buckley, C. 1988 Abordări de ponderare a termenilor în regăsirea automată a textului. Information Processing & Management 24(5): 513-523
Fedorovsky A.N., Kostin M.Yu. Mail.ru la ROMIP -2005 // în sat. „Proceedings of ROMIP'2005” Actele celui de-al treilea seminar rusesc privind evaluarea metodelor de regăsire a informațiilor. Ed. I. S. Nekrestyanova, pp. 106-124, Sankt Petersburg: Institutul de Cercetare de Chimie, Universitatea de Stat din Sankt Petersburg, 2005.