Modelare tematică

Modelarea subiectelor este o modalitate de a construi un model al unei colecții de documente text care determină subiectele cărora le aparține fiecare document [1] .

Modelul de subiecte ( modelul de subiect în engleză ) al unei colecții de documente text determină căror subiecte aparține fiecare document și ce cuvinte (termeni) formează fiecare subiect [2] .

Trecerea de la spațiul termenilor la spațiul subiectelor găsite ajută la rezolvarea sinonimiei și polisemiei termenilor, precum și la rezolvarea mai eficientă a unor probleme precum căutarea tematică , clasificarea , rezumarea și adnotarea colecțiilor de documente și a fluxurilor de știri.

Modelarea subiectelor, ca tip de model statistic pentru găsirea subiectelor ascunse întâlnite într-o colecție de documente, și-a găsit drumul în domenii precum învățarea automată și procesarea limbajului natural . Cercetătorii folosesc diverse modele de subiecte pentru a analiza texte, arhive text ale documentelor, pentru a analiza modificările subiectelor în seturi de documente . Înțelegând intuitiv că documentul se referă la un anumit subiect, în documentele dedicate unui subiect, puteți găsi unele cuvinte mai des decât altele. De exemplu: „câine” și „os” apar mai des în documentele despre câini, „pisici” și „lapte” vor apărea în documentele despre pisoi, prepozițiile „și” și „în” vor apărea în ambele subiecte. De obicei, un document tratează mai multe subiecte în proporții diferite, așa că un document în care 10% din subiect este pisici și 90% din subiect este câini se poate presupune că are de 9 ori mai multe cuvinte despre câini. Modelarea subiectelor reflectă această intuiție într-o structură matematică care permite, pe baza studiului unei colecții de documente și a studiului caracteristicilor de frecvență ale cuvintelor din fiecare document, să se concluzioneze că fiecare document este un anumit echilibru de subiecte.

Cele mai utilizate pe scară largă în aplicațiile moderne sunt abordările bazate pe rețele bayesiene - modele probabilistice pe grafice direcționate . Modelele probabilistice de subiecte sunt un domeniu relativ tânăr de cercetare în teoria autoînvățarii . Una dintre primele analize semantice latente probabilistice propuse (PLSA), bazate pe principiul probabilității maxime , ca alternativă la metodele clasice de clustering , bazate pe calculul funcțiilor de distanță. În urma PLSA, s-a propus metoda de alocare a Dirichletului latent și numeroasele sale generalizări [3] .

Modelele probabilistice de subiecte realizează clustering „soft”, permițând unui document sau termen să fie legat de mai multe subiecte simultan, cu probabilități diferite. Modelele probabilistice de subiecte descriu fiecare subiect printr-o distribuție discretă pe un set de termeni, fiecare document printr-o distribuție discretă pe un set de subiecte. Se presupune că o colecție de documente este o secvență de termeni aleși aleatoriu și independent dintr-un amestec de astfel de distribuții, iar sarcina este de a restabili componentele amestecului din probă [4] .

Deși modelarea subiectelor a fost descrisă și aplicată în mod tradițional în procesarea limbajului natural, ea și-a găsit drumul și în alte domenii, cum ar fi bioinformatica .

Istorie

Prima descriere a modelării subiectelor a apărut într-o lucrare din 1998 a lui Ragawan, Papadimitriou, Tomaki și Vempola [5] . Thomas Hofmann în 1999 [6] a propus indexarea semantică latentă probabilistică (PLSI). Unul dintre cele mai comune modele topice este plasarea latentă a Dirichlet (LDA), acest model este o generalizare a indexării semantice probabilistice și a fost dezvoltat de David Blei , Andrew Ng și Michael Jordan ( în engleză Michael I. Jordan ) [în 2002 . Alte modele de subiecte tind să fie extensii ale LDA, de exemplu, plasarea pachinko îmbunătățește LDA prin introducerea de coeficienți de corelație suplimentari pentru fiecare cuvânt care alcătuiește un subiect.

Studii de caz

Templeton a trecut în revistă lucrările pe tema modelării în științe umaniste, grupate în abordări sincronice și diacronice [8] . Abordările sincrone evidențiază subiecte la un moment dat, de exemplu, Jockers a folosit un model de subiect pentru a explora despre ceea ce au scris bloggerii de Ziua Humanităților Digitale din 2010 [9] .

Abordări diacronice, inclusiv definiția lui Block și Newman a dinamicii temporale a subiectelor în Pennsylvania Gazette din 1728-1800 [10] . Griffiths și Stavers au folosit modelarea subiectelor pentru recenziile revistei PNAS , determinând schimbarea popularității subiectului din 1991 până în 2001 [11] . Blevin a creat un model tematic pentru jurnalul Marthei Ballads [12] . Mimno a folosit modelarea subiectelor pentru a analiza 24 de reviste clasice și arheologice de-a lungul a 150 de ani pentru a determina schimbările în popularitatea subiectelor și cât de mult s-au schimbat jurnale în acea perioadă [13] .

Algoritmi de modelare a subiectelor

„Introduction to Topic Modeling” a lui David Blay consideră cel mai popular algoritm Latent Dirichlet Allocation [14] . În practică, cercetătorii folosesc una dintre euristicile metodei de maximă probabilitate, metodele de descompunere a valorii singulare (SVD), metoda momentelor , un algoritm bazat pe o matrice de factorizare nenegativă (NMF), modele probabilistice de subiecte, analiză semantică latentă probabilistică. , plasare latentă Dirichlet. În munca lui Vorontsov K.V., sunt considerate variații ale algoritmilor de modelare a subiectelor principale: model robust de subiecte, modele de clasificare a subiectelor, modele de subiecte dinamice, modele de subiecte ierarhice, modele de subiecte multilingve, modele de text ca o secvență de cuvinte, modele de subiecte multimodale [2] ] .

Modelele probabilistice de subiecte se bazează pe următoarele ipoteze [15] [16] [17] [18] :

Ordinea documentelor din colecție nu contează
Ordinea cuvintelor dintr-un document nu contează, un document este o pungă de cuvinte.
Cuvintele care apar frecvent în majoritatea documentelor nu sunt importante pentru determinarea subiectului
O colecție de documente poate fi reprezentată ca o selecție de perechi document-cuvânt , , $(d,w)$ $d\în D$ $w\în {\mathit {W}}_{d}$
Fiecare subiect este descris printr-o distribuție necunoscută pe setul de cuvinte $t\in T$ $p({\mathit {W}}|t)$ $w\în {\mathit {W}}$
Fiecare document este descris printr-o distribuție necunoscută pe un set de subiecte $d\în D$ $p(t|d)$ $t\in T$
Ipoteza independenței condiționate $p(w|t,d)=p(w|t)$

A construi un model tematic înseamnă a găsi matrici și prin colectare În modelele tematice probabilistice mai complexe, unele dintre aceste ipoteze sunt înlocuite cu altele mai realiste. $\Phi =||p(w|t)||$ $\Theta =||p(t|d)||$ ${\mathit {D}}$

Analiză semantică latentă probabilistică

Analiza semantică latentă probabilistică (PLSA) a fost propusă de Thomas Hofmann în 1999. Modelul probabilistic pentru apariția unei perechi document-cuvânt poate fi scris în trei moduri echivalente:

p(d,w)=\sum _{{t\in T}}p(t)p(w|t)p(d|t)=\sum _{{t\in T}}p(d) p(w|t)p(t|d)=\sum _{{t\in T}}p(w)p(t|w)p(d|t)

unde este setul de subiecte; $T$

p(t)

— distribuția a priori necunoscută a subiectelor în întreaga colecție;

p(d)

este o distribuție a priori pe un set de documente, o estimare empirică , unde este lungimea totală a tuturor documentelor;

p(d)=n_{d}/n

n=\sum _{d}n_{d}

p(w)

este distribuția a priori pe mulțimea de cuvinte, estimare empirică , unde este numărul de apariții ale unui cuvânt în toate documentele;

p(w)=n_{w}/n

n_{w}

w

Distribuțiile condiționate dorite sunt exprimate în termenii formulei Bayes: $p(w|t),p(t|d)$ $p(t|w),p(d|t)$

$p(w|t)={\frac {p(t|w)p(w)}{\sum _{{w'}}p(t|w')p(w')}});\qquad p (t|d)={\frac {p(d|t)p(t)}{\sum _{{t'}}p(d|t')p(t')}}.$

Pentru a identifica parametrii modelului tematic dintr-o colecție de documente, se aplică principiul maximului probabilitate , ceea ce duce la problema maximizării funcționalității [19]

$\sum _{d\in D}\sum _{w\in d}n_{dw}\ln \sum _{t\in \mathrm {T} }\varphi _{wt}\theta _{ td}\to \max _{\Phi ,\Theta },$

sub constrângeri de normalizare

$\sum _{w}p(w|t)=1,\;\sum _{t}p(t|d)=1,\;\sum _{t}p(t)=1,$

unde este numărul de apariții ale cuvântului din document . Pentru a rezolva această problemă de optimizare, se folosește de obicei algoritmul EM . $n_{{dw}}$ $w$ $d$

Principalele dezavantaje ale PLSA:

Numărul de parametri crește liniar cu numărul de documente din colecție, ceea ce poate duce la supraadaptarea modelului.
Când un document nou este adăugat la colecție, distribuția nu poate fi calculată folosind aceleași formule ca pentru alte documente fără a reconstrui întregul model. $d$ $p(t|d)$

Plasarea latentă a lui Dirichlet

Alocarea Latent Dirichlet (LDA) a fost propusă de David Bley în 2003.

Această metodă elimină principalele dezavantaje ale PLSA.

Metoda LDA se bazează pe același model probabilistic

$p(d,w)=\sum _{{t\in T}}p(d)p(w|t)p(t|d),$

cu ipoteze suplimentare:

vectorii de document sunt generați de aceeași distribuție de probabilitate pe vectori -dimensionali normalizați; este convenabil să luăm această distribuție din familia parametrică a distribuțiilor Dirichlet ; $\theta _{d}={\bigl (}p(t|d):t\in T{\bigr )}$ $|T|$ ${\mathrm {Dir}}(\theta ,\alpha ),\;\alpha \in {\mathbb {R}}^{{|T|}}$
vectorii tematici sunt generați de aceeași distribuție de probabilitate pe vectori de dimensiune normalizați ; este convenabil să luăm această distribuție din familia parametrică a distribuțiilor Dirichlet . $\phi _{t}={\bigl (}p(w|t):w\in W{\bigr )}$ $|W|$ ${\mathrm {Dir}}(\theta ,\beta ),\;\beta \in {\mathbb {R}}^{{|W|}}$

Eșantionarea Gibbs , inferența Bayesiană variațională sau metoda de propagare a așteptărilor sunt utilizate pentru a identifica parametrii modelului LDA dintr-o colecție de documente .(Propagarea așteptărilor).

Vezi și

semantică
Dirichlet

Note

↑ Korshunov, 2012 .
↑ 1 2 Vorontsov, 2013 .
↑ Ali10, 2010 .
↑ Vorontsov 12, 2012 .
↑ Papadimitriou, 1998 .
↑ Hofmann, 1999 .
↑ Blay 2003, 2003 .
↑ Templeton, 2011 .
↑ Jokers, 2010 .
↑ Newman Block, 2006 .
↑ Griffiths, 2004 .
↑ Blevin, 2010 .
↑ Mimno, 2012 .
↑ Blay 2012, 2012 .
↑ Korshunov, 2012 , p. 229.
↑ Vorontsov, 2013 , p. 6.
↑ Vorontsov 13, 2013 , p. 5.
↑ VorontsovML, 2013 , p. 5.
↑ K. V. Vorontsov. Modelare tematică probabilistă (rusă) ? . Data accesului: 26 octombrie 2013. Arhivat din original pe 24 iulie 2014. (nedefinit)

Literatură

Korshunov Anton, Gomzin Andrey. Modelarea tematică a textelor în limbaj natural // Proceedings of Institute for System Programming al Academiei Ruse de Științe: jurnal. — 2012.
Vorontsov K.V. Modelare tematică probabilistică // www.machinelearning.ru : web. — 2013.
Vorontsov K.V., Potapenko A.A. Regularizarea, robustețea și raritatea modelelor tematice probabilistice // Cercetare și modelare computerizată : jurnal. - 2012. - S. 693-706 .
Vorontsov K.V. Regularizarea aditivă a modelelor tematice probabilistice Prezentare // www.machinelearning.ru : web. — 2013.
Vorontsov K.V. Modele tematice probabilistice ale unei colecții de documente text Prezentare // www.machinelearning.ru : web. — 2013.
Mark Stavers, Tom Griffiths. Model tematic probabilistic. // Manual de analiză semantică latentă / T. Landauer, D. McNamara, S. Dennis, W. Kintsch. - Psychology Press, 2007. - ISBN 978-0-8058-5418-3 . Arhivat pe 24 iunie 2013 la Wayback Machine
Daud Ali, Li Juanzi, Zhou Lizhu, Muhammad Faqir. Descoperirea cunoștințelor prin modele de subiecte probabilistice direcționate: un sondaj. În Proceedings of Frontiers of Computer Science in China. // www.researchgate.net : web. — 2010.
Christos Papadimitriou, Prabhakar Raghavan, Hisao Tamaki, Santosh Vempala. Indexare semantică latentă: o analiză probabilistică // Proceedings of ACM PODS. - 1998. Arhivat la 9 mai 2013.
Thomas Hoffman. Indexarea semantică latentă probabilistică // Proceedings of the Twenty-22 Annual International SIGIR Conference on Research and Development in Information Retrieval. - 1999. Arhivat la 14 decembrie 2010.
David M. Blei, Andrew Y. Ng, Michael I. Jordan. Alocare latentă de dirichlet // Jurnalul de cercetare în domeniul învățării automate. - 2003. Arhivat 1 mai 2012.
David Blei. Introducere în modelele probabilistice de subiecte // Comunicări ale ACM . - 2012. - S. 77–84 . Arhivat din original pe 15 februarie 2017.
David Blei, JD Lafferty. Modele tematice : web. - 2009. Arhivat 31 mai 2013.
David Blei, JD Lafferty. Introducere în modelele probabilistice de subiecte // Analele statisticii aplicate. - 2007. - S. 17-35 . - doi : 10.1214/07-AOAS114 . Arhivat din original pe 15 februarie 2017.
David Mimno. Computational Historiography: Data Mining in a Century of Classics Journals // Journal on Computing and Cultural Heritage: journal. - 2012. - doi : 10.1145/2160165.2160168 .
Matthew L. Jockers. Cine este partenerul tău DH Blog: Match-Making Ziua bloggerilor DH cu modelarea subiectelor : web. — 2010.
E. Amestecă. Înțelegerea științelor umaniste digitale : web. — 2011.
C. Templeton. Modelarea subiectelor în științe umaniste: o revizuire. // Institutul Maryland pentru Tehnologie în Științe Umaniste Blog: web. — 2011.
T. Gifits, M. Stivers. Găsirea subiectelor științifice // Proceedings of the National Academy of Sciences: journal. - 2004. - doi : 10.1073/pnas.0307752101 . — PMID 14872004 .
T. Young, A Torget și R. Mihalcea. Modelarea subiectelor în ziarele istorice // Proceedings of the 5th ACL-HLT Workshop on Language Technology for Cultural Heritage, Social Sciences, and Humanities. Asociația pentru Lingvistică Computațională, Madison: jurnal. - 2011. - S. 96-104 . Arhivat din original pe 27 martie 2014.
S. Bloc. Doing More with Digitization - An Introduction to Topic Modeling in Early American Sources // Common-place The Interactive Journal of Early American Life: Journal. — 2006.
D. Newman, S. Block. Expansiunea topică probabilistică în ziarele din secolul al XVIII-lea // Journal of the American Society for Information Science and Technology: Journal. - 2006. - doi : 10.1002/asi.20342 .
C. Blevin. Modelarea tematică a jurnalului Marthei Ballards // historying : web. — 2010.

Link -uri

Prelegere: Modelare tematică — K. V. Vorontsov // Școala de analiză a datelor (prelegeri video).
Curs 2: Modelare tematică - K. V. Vorontsov // Școala de analiză a datelor (prelegeri video).
Modelare tematică . (nedefinit)
Colecții de documente pentru modelarea subiectelor . (nedefinit)
Modele de subiecte complet rare (traducere) / Modele de subiecte complet rare . (nedefinit)
Un sondaj asupra modelelor de subiecte probabilistice . (nedefinit)
Modele de subiecte pentru o colecție de texte . (nedefinit)
Metode bayesiene de învățare automată (curs curs, D. P. Vetrov, D. A. Kropotov) . (nedefinit)
Heatlton, Clay Topic Modeling in the Humanities. Revizuire generală. . Institutul Maryland pentru Tehnologie în Științe Umaniste. (nedefinit)
Aplicarea modelării subiectelor pentru analiza și recenziile știrilor. Videoclipul unei prezentări Google Tech Talk de Alice Oh despre modelarea subiectului cu alocare Latent Dirichlet
Modeling Science: Dynamic Thematic Modeling of Scientific Research. Videoclipul unei prezentări Google Tech Talk de David M. Blei
Model automatizat de subiecte în științe politice. Videoclipul unei prezentări de Brandon Stewart la Atelierul de instrumente pentru text , 14 iunie 2010
Prelegere: Modelare subiecte - David Blay 2009 Video Lectură Universitatea Princeton
Regularizarea modelelor de subiecte probabilistice pentru a crește interpretabilitatea și a determina numărul de subiecte Dialog 2014
Modele de subiecte parcimonioase cu descoperire de cuvinte proeminente

Software și biblioteci software

Malet (program)
Setul de instrumente pentru modelarea subiectelor de la Universitatea Stanford
GenSim - „simulare teme pentru oameni”
LDA C# LDA în Infer.NET

procesarea limbajului natural
Definiții generale	Corpus de texte corpus de vorbire Cuvinte oprite pungă de cuvinte Completitudine AI N-gram Cifru bigram trigramă
Analiza textului	Segmentarea textului Marcare parțială Analiza suprafeței Procesare de text compusă Extragerea colocărilor tulpina Lematizare Recunoașterea entității denumite Rezoluția coreferenței Analiza sentimentelor de text Concept Extraction analizare Rezolvarea polisemiei lexicale Extrage terminologie Extragerea informațiilor Identificarea limbii Definiția cazului
Referire	Extragerea propozițiilor Generație abstractă Referințe pentru mai multe documente Simplificarea textului
Traducere automată	automatizate Hibrid interlingvistic Bazat pe reguli Pe baza exemplelor Dicţionar bazat Bazat pe transformare neurale Statistic Sincron
Identificarea și colectarea datelor	Recunoaștere a vorbirii sinteza vorbirii Recunoaștere optică a caracterelor Generarea textului
Model tematic	Plasarea Pachinko Plasarea latentă a lui Dirichlet Analiza semantică latentă
Evaluare inter pares	Evaluarea automată a eseurilor Concordancer Introducere predictivă a textului Verificator gramatical Verificator ortografic Sintaxă Guessing
Interfață în limbaj natural	asistent virtual Interlocutor virtual Sistem de întrebări și răspunsuri Interfață vocală Literatură interactivă