Analiza sentimentelor de text

O altă direcție de cercetare este identificarea subiectivității/obiectivității [12] . Această sarcină este de obicei definită ca atribuirea unui text dat uneia dintre cele două clase: subiectiv sau obiectiv . Această problemă poate fi uneori mai complexă decât clasificarea polarității: subiectivitatea cuvintelor și expresiilor poate depinde de contextul lor , iar un document obiectiv poate conține propoziții subiective (de exemplu, un articol de știri care citează opiniile oamenilor). Mai mult, așa cum a menționat Su [12] , rezultatele depind mai mult de definiția subiectivității utilizată în contextul adnotărilor de text. Oricum ar fi, Pang [13] a arătat că eliminarea propozițiilor obiective din document înainte de clasificarea polarității a ajutat la îmbunătățirea acurateței rezultatelor.

Modelul de analiză mai detaliat se numește analiză bazată pe caracteristici/aspecte. Acest model se referă la definirea opiniilor sau sentimentelor exprimate de diferite funcții sau aspecte ale entităților, cum ar fi cele ale unui telefon mobil, ale unei camere digitale sau ale unei bănci. O proprietate/aspect este un atribut sau o componentă a unei entități care este examinată pentru sentiment, cum ar fi ecranul unui telefon mobil sau calitatea unei fotografii. Această problemă necesită rezolvarea unui număr de sarcini, de exemplu, identificarea entităților relevante, extragerea funcțiilor/aspectelor acestora și determinarea dacă opinia exprimată cu privire la fiecare funcție/aspect este pozitivă, negativă sau neutră. O discuție mai detaliată pe acest subiect poate fi găsită în manualul NLP , în capitolul „Analiza sentimentului și subiectivității” [14] .

Abordări ale clasificării tonalității

Calculatoarele pot efectua analiza automată a textelor digitale folosind elemente de învățare automată , cum ar fi analiza semantică latentă, mașina vectorului de suport , punga de cuvinte și focalizarea semantică în acest domeniu [7] . Metode mai sofisticate încearcă să identifice proprietarul sentimentului (adică, persoana) și ținta (adică, entitatea despre care sunt exprimate sentimentele). Pentru a determina opinia, ținând cont de context, se folosesc relații gramaticale dintre cuvinte [15] .

Relațiile de conexiune gramaticală se obțin pe baza unei analize structurale profunde a textului. Analiza sentimentelor poate fi împărțită în două categorii separate [16] :

• manual (sau analiza sentimentelor de către experți);
• analiza automată a sentimentelor .

Cele mai notabile diferențe dintre cele două constă în eficiența sistemului și acuratețea analizei. Programele computerizate de analiză automată a sentimentelor folosesc algoritmi de învățare automată, instrumente de statistică și procesarea limbajului natural pentru a procesa cantități mari de text, inclusiv pagini web , știri online, texte pentru grupuri de discuții pe Internet, recenzii online, bloguri web și rețele sociale .

Tezauri semantice

Există o serie de tezauri special etichetate în ceea ce privește componenta emoțională. Astfel de dicționare, descrise mai jos, sunt necesare pentru programele de calculator atunci când se analizează sentimentul unui text.

WordNet-Affect

Un exemplu pentru dezvoltarea WordNet-Affect a fost extensia multilingvă a WordNet numită WordNet Domain [17] . În extensia de domeniu WordNet, fiecărui synset îi este atribuită cel puțin o etichetă de domeniu („etichetă de domeniu”), de exemplu: sport, politică, medicină. În total, aproximativ două sute de etichete de subiect au fost incluse în structura organizată ierarhic [18] .

WordNet-Affect este un tezaur semantic în care conceptele asociate cu emoțiile („concepte emoționale”, „concepte afective” în engleză) sunt reprezentate folosind cuvinte care au o componentă emoțională („cuvinte emoționale”, „cuvinte afective” în engleză) [17] . WordNet-Affect constă dintr-un subset de synset-uri WordNet [19] unde fiecare synset corespunzător unui „concept emoțional” poate fi reprezentat folosind „cuvinte emoționale” [17] .

Astfel, WordNet-Affect a fost creat pe baza WordNet pentru engleză (există și versiuni ale WordNet-Affect pentru alte limbi [20] ) prin selectarea și atribuirea de seturi de sinonime (synseturi) diferitelor concepte emoționale. În special, synseturile de verbe, substantive, adjective, adverbe, care reprezintă descrierea emoțiilor, au fost etichetate manual folosind etichete emoționale speciale (etichete afective, etichete A) [21] . Aceste etichete emoționale caracterizează diverse stări care exprimă dispoziții, răspunsuri emoționale sau situații care evocă emoții [21] . Exemple de astfel de etichete emoționale sunt date în următorul tabel [22]

De asemenea, WordNet-Affect folosește etichete emoționale suplimentare pentru a separa synset-urile în funcție de valența lor emoțională. Pentru aceasta, sunt definite patru etichete emoționale suplimentare: pozitiv, negativ, ambiguu și neutru [21] . Primul corespunde emoțiilor pozitive, care sunt definite ca stări emoționale caracterizate prin prezența unor indicii (sau plăcere) hedonice pozitive. Include astfel de synsets precum bucuria #1 sau pasiunea #1. În mod similar , o etichetă negativă identifică emoțiile negative caracterizate de semne hedonice negative (sau durere), cum ar fi furia#1 sau tristețea#1. Synset-urile reprezentând stări emoționale a căror valență depinde de contextul semantic (de exemplu, surpriza #1) sunt marcate ca ambigue . În cele din urmă, synseturile care definesc stările psihologice și sunt întotdeauna considerate ambigue, dar necaracterizate prin valență, sunt neutre [21] .

Synset-urile marcate cu etichete emoționale sunt reetichetate în plus cu șase categorii emoționale: bucurie, frică, furie, tristețe, dezgust, surpriză. Astfel, structura fizică a WordNet-Affect este formată din șase fișiere: anger.txt, disgust.txt, fear.txt, joy.txt, sadness.txt, surprise.txt , unde fiecare fișier este o descriere a unei categorii [23] . În prezent, WordNet-Affect conține 2874 synsets și 4787 cuvinte [24] .

Oamenii de știință de la Universitatea Tehnică din Moldova au tradus sintezele WordNet-Affect din engleză în rusă și română, au efectuat alinierea lor: engleză - română - rusă [25] . Resursa este disponibilă online în scopuri de cercetare [23] .

SentiWordNet

SentiWordNet este un tezaur semantic lexical, a cărui primă versiune a fost dezvoltată în 2006. [26] Versiunea curentă a SentiWordNet este SentiWordNet 3.0 [26] , care oferă o îmbunătățire a preciziei cu peste 20% față de prima versiune [26] .

Acest sistem este rezultatul unui proces de adnotare automată a fiecărui synset WordNet (set de sinonime) în funcție de gradul său de pozitivitate, negativitate și obiectivitate [27] . Astfel, fiecărui rând sinonimic din WordNet îi sunt atribuite trei scoruri numerice, unde fiecare dintre aceste scoruri determină respectiv componenta obiectivă, pozitivă sau negativă a synset-ului [26] . Fiecare dintre aceste estimări ia valori în intervalul de la 0 la 1, iar în total dau 1 (unul), adică fiecare dintre aceste estimări poate avea o valoare diferită de zero [26] . Termenii care pot avea valori diferite pot avea și valori de evaluare diferite [26] .

Procesul de învățare SentiWordNet a constat în doi pași: [28] .

1. La primul pas în dezvoltarea sistemului, pentru completarea inițială au fost utilizate metode de învățare automată cu slabă ( participare parțială a profesorilor (învățare semi-supravegheată)). Inițial, un mic set de synsets a fost selectat și a fost atribuit manual scoruri numerice. Apoi, pe baza acestui set, au fost instruiți mai mulți clasificatori, a căror sarcină este de a determina gradul de pozitivitate, negativitate și obiectivitate al synset-ului. După aceea, prin modelele de clasificatoare obținute, au fost determinate estimări numerice pentru fiecare synset WordNet. [28]
2. Modelul random -walk step a fost aplicat datelor obținute la prima etapă , în urma căruia s-au stabilit estimările finale ale componentelor obiective, pozitive sau negative ale fiecărui synset. Puteți citi mai multe despre această etapă în lucrarea următoare [29] .

SentiWordNet este licențiat sub CC BY-SA 3.0 . Această licență vă permite să utilizați în mod liber SentiWordNet în scopuri comerciale și științifice, cu condiția să fie indicate numele creatorilor. [27] Oricine poate descărca gratuit fișiere SentiWordNet de pe site-ul oficial. De asemenea, puteți descărca o mică clasă Java care demonstrează cum să lucrați cu SentiWordNet [27] .

SenticNet

SenticNet este un alt tezaur semantic pentru a trata seturi de concepte emoționale. SenticNet este un proiect lansat la Massachusetts Institute of Technology Media Lab în 2010 [30] . De atunci, proiectul SenticNet a fost dezvoltat în continuare și este folosit pentru a proiecta aplicații inteligente concepute pentru a analiza componenta emoțională a textului și care acoperă o serie de sarcini de la data mining până la organizarea interacțiunii om-calculator [30] . Scopul principal al SenticNet este de a simplifica procedura de recunoaștere automată a informațiilor conceptuale și emoționale transmise folosind limbajul natural [30] . Dacă comparăm alte tezaure lexicale, cum ar fi SentiWordNet și WordNet-Affect cu SenticNet, atunci diferența lor principală va fi că SentiWordNet și WordNet-Affect asigură legarea cuvintelor și conceptelor emoționale la nivel sintactic, nepermițând identificarea componentei semantice, de exemplu, „atingerea scopului”, „senzație neplăcută”, „sărbătorește o ocazie specială”, „pierde-ți cumpătul” sau „fii în al șaptelea cer”, în timp ce SenticNet conectează conceptele la nivel semantic [31] .

Cea mai recentă versiune este SenticNet 2 [32] . Spre deosebire de SenticNet 1 [32] , care atribuie pur și simplu o valoare de sentiment la aproximativ 5.700 de concepte din corpus OpenMind, SenticNet 2 oferă semantică și „sentics” (adică informații cognitive și „emoționale”) asociindu-se cu peste 14.000 de concepte și permite mai mult analiză profundă și multifațetă a textului în limbaj natural în comparație cu SenticNet 1 [32] . SenticNet 2 este construit cu „sentic computing”, o paradigmă care utilizează tehnici AI și Web Semantic pentru a îmbunătăți recunoașterea, interpretarea și procesarea opiniilor în limbajul natural [32] .

„Sentic computing” este o abordare interdisciplinară a analizei sentimentelor la răscrucea dintre „ calculul afectiv ” și „calculul de bun simț” [33] . Termenul de „calculatură de bun simț” se referă la o serie de inițiative menite să asigure că computerele reprezintă cunoștințe despre orice în forma în care o persoană le înțelege și că computerele sunt capabile să tragă concluzii logice pe baza acestor cunoștințe [34] . O astfel de abordare interdisciplinară presupune utilizarea instrumentelor informaționale și de științe sociale pentru a îmbunătăți recunoașterea, interpretarea și prelucrarea opiniilor și sentimentelor [33] . În special, Sentic computing implică utilizarea metodelor de inteligență artificială și a rețelei semantice - pentru reprezentarea cunoștințelor și a rezultatelor acesteia; matematică - pentru rezolvarea de probleme precum procesarea graficelor și reducerea dimensionalității ; lingvistică pentru analiză discursivă și pragmatică; psihologie - pentru modelare cognitivă și emoțională; sociologie, pentru a înțelege dinamica rețelelor sociale și influența socială; și în cele din urmă etica, pentru a înțelege natura minții și a crea mașini emoționale. „Sentic-calculele” permit analizarea documentelor nu numai la nivel de pagini întregi și de texte, ci și la nivel de propoziții, ceea ce face posibilă evaluarea textelor la un nivel mai ridicat de detaliu [33] .

Pentru a prezenta datele SenticNet într-o formă care poate fi citită de mașină, adecvată procesării de către programe de calculator, datele sunt codificate în triplete RDF folosind sintaxa XML. Un exemplu de fișier XML pentru conceptul „dragoste” poate fi vizualizat pe site-ul proiectului la următorul link [35] . De exemplu, dacă un concept precum „zi de naștere” este întâlnit în timpul aplicației, atunci SenticNet îl va atribui conceptului de nivel înalt de „evenimente” și îl va asocia cu un set de concepte legate semantic, de exemplu, „dulce”, „surpriză prietenoasă” sau „clovn” (care poate fi folosită ca sursă de informații suplimentare/contextuale pentru îmbunătățirea rezultatelor căutării) [36] . SenticNet asociază, de asemenea, fiecare concept cu un „vector-sentic” cu valori numerice ale unor cantități precum Plăcut (plăcut), Atenție (atenție), Sensibilitate (sensibilitate) și Aptitudine (capacitate) [37] , precum și valoarea tonalității (pentru sarcini precum analiza tonului textului), starea de spirit principală și suplimentară, precum și un set de concepte apropiate din punct de vedere emoțional, de exemplu, „vacanță” sau „ocazie specială” (pentru sarcini precum determinarea tonul textului) [36] .

Oricine poate descărca gratuit SenticNet 2 de pe site-ul oficial [38] .

Metode de clasificare a sentimentelor

Metode bazate pe reguli și dicționare

Această metodă se bazează pe căutarea vocabularului emotiv [39] (sentiment lexical) în text conform dicționarelor și regulilor tonale compilate anterior folosind analiza lingvistică. În funcție de totalitatea vocabularului emotiv găsit, textul poate fi evaluat pe o scală care conține cantitatea de vocabular negativ și pozitiv. Această metodă poate folosi atât liste de reguli care sunt înlocuite în expresii regulate, cât și reguli speciale pentru conectarea vocabularului tonal într-o propoziție. Pentru a analiza textul, puteți utiliza următorul algoritm: mai întâi, atribuiți fiecărui cuvânt din text valoarea sentimentului său din dicționar (dacă este prezent în dicționar), apoi calculați sentimentul general al întregului text prin însumarea sentimentului. valoarea fiecărei propoziții individuale [39] .

Principala problemă a metodelor bazate pe dicționare și reguli este laboriositatea procesului de compilare a unui dicționar. Pentru a obține o metodă care clasifică un document cu o acuratețe ridicată, termenii dicționarului trebuie să aibă o pondere adecvată domeniului documentului. De exemplu, cuvântul „uriaș” în raport cu cantitatea de stocare pe hard disk este o caracteristică pozitivă, dar negativă în raport cu dimensiunea unui telefon mobil. Prin urmare, această metodă necesită costuri semnificative cu forța de muncă, deoarece trebuie compilat un număr mare de reguli pentru ca sistemul să funcționeze bine. Există o serie de abordări care vă permit să automatizați compilarea dicționarelor pentru un anumit domeniu (de exemplu, subiectul restaurantelor sau subiectul telefoanelor mobile) [40] .

Învățare automată supravegheată

În zilele noastre, cele mai frecvent utilizate metode în cercetare sunt metodele de învățare automată supravegheată . Esența unor astfel de metode este că, în prima etapă, un clasificator de mașină (de exemplu, Bayesian [41] ) este antrenat pe texte pre-marcate, iar apoi modelul rezultat este utilizat atunci când se analizează documente noi. Să descriem un algoritm scurt [42] :

1. în primul rând, se colectează o colecție de documente, pe baza cărora este antrenat un clasificator de mașini;
2. fiecare document se descompune ca vector de trăsături (aspecte), conform cărora va fi studiat;
3. indică tipul corect de sentiment pentru fiecare document;
4. este selectat un algoritm de clasificare și o metodă de antrenare a clasificatorului;
5. folosim modelul rezultat pentru a determina sentimentul documentelor noii culegeri.

Învățare automată nesupravegheată

Această abordare se bazează pe ideea că termenii care apar mai des în acest text și în același timp sunt prezenți într-un număr mic de texte din întreaga colecție au cea mai mare pondere în text. Evidențiind acești termeni, iar apoi determinând tonul lor, putem trage o concluzie despre tonul întregului text [41] .

O metodă bazată pe modele teoretice grafice

Această metodă se bazează pe presupunerea că nu toate cuvintele din corpus de text al unui document sunt echivalente. Unele cuvinte au mai multă greutate și au un efect mai puternic asupra tonului textului. Folosind această metodă, analiza sentimentelor este împărțită în mai mulți pași:

1. construirea unui grafic pe baza textului studiat;
2. ierarhizarea nodurilor sale;
3. clasificarea cuvintelor găsite;
4. calculul rezultatului.

Puteți citi mai multe despre punctele 1 și 2 în lucrarea „Extragerea termenilor din textele în limba rusă folosind modele grafice” de D. A. Ustalov [43] .

Pentru a clasifica cuvintele, se folosește un dicționar de tonuri, în care fiecărui cuvânt i se atribuie o evaluare, cum ar fi „pozitiv”, „negativ” sau „neutru”. Pentru a obține rezultatul final, este necesar să se calculeze valorile a două evaluări: componenta pozitivă a textului și cea negativă. Pentru a găsi componenta pozitivă a textului, este necesar să se găsească suma sentimentelor tuturor termenilor pozitivi ai textului, ținând cont de ponderea acestora. Valoarea componentei negative a textului se regăsește în mod similar. Pentru evaluarea finală a sentimentului întregului text, trebuie să calculați raportul acestor componente conform formulei: , unde T  este evaluarea finală a sentimentului, P  este evaluarea componentei pozitive a textului și N  este componenta negativă a textului. În conformitate cu articolul lui Menshikov [44] , un text în care valoarea lui T este apropiată de unu va fi considerat neutru, dacă depășește ușor 1 - pozitiv. Dacă depășește cu mult 1, atunci este puternic pozitiv. Opusul este valabil și pentru textele cu sentimente negative [45] . Această metodă este considerată mai detaliat în lucrările lui Goldberg [46] și Ponomareva [47] .

Evaluarea calității analizei sentimentelor

Acuratețea și calitatea sistemului de analiză a sentimentelor textului este evaluată prin cât de bine este de acord cu opinia persoanei cu privire la evaluarea emoțională a textului studiat. Pentru aceasta pot fi utilizate metrici precum precizia și rechemarea [48] . Formula pentru găsirea completității:

unde opiniile extrase corect  sunt opinii definite corect, numărul total de opinii  este numărul total de opinii (atât găsite de sistem, cât și negăsite) [48] . Precizia este calculată prin formula [48] :

unde opiniile extrase corect  sunt opinii definite corect, numărul total de opinii găsite de sistem  este numărul total de opinii găsite de sistem [48] . Astfel, acuratețea exprimă numărul de texte, propoziții sau documente studiate, în evaluarea cărora opinia sistemului de analiză a sentimentelor a coincis cu opinia expertului. În același timp, conform studiului, experții sunt de obicei de acord asupra sentimentului unui anumit text în 79% din cazuri [49] . Prin urmare, un program care detectează tonul unui text cu o acuratețe de 70% o face aproape la fel de bine ca un om.

Vezi și

• procesarea limbajului natural
• Lingvistică computațională
• Extragerea informațiilor
• Analiza continutului

Note

1. ↑ Pang, Lee, 2008 , p. 6.
2. ↑ 12 Bing Liu, 2010 , p. 5.
3. ↑ Bing Liu, 2010 , p. 2.
4. ↑ 12 Pang , Lee, 2008 , p. 16-17.
5. ↑ Bollen, Mao, J. Zeng, 2010 .
6. ↑ Pang, Lee, 2008 .
7. ↑ 12 Turney , 2002 .
8. ↑ Pang, Lee, Vaithyanathan, 2002 .
9. ↑ Pang, Lee, 2005 .
10. ↑ 1 2 Snyder, Barzilay, 2007 .
11. ↑ Thelwall et al, 2010 .
12. ↑ 1 2 Su, Markert, 2008 , p. unu.
13. ↑ Pang, Lee, 2004 , p. 7.
14. ↑ Bing Liu, 2010 .
15. ↑ Turney, 2002 , p. 2-3.
16. ↑ Washington .
17. ↑ 1 2 3 Strapparava, 2004 , p. 1083.
18. ↑ Magnini et al, 2000 .
19. ↑ Synset (synset) - un set de sinonime.
20. ↑ Bovicev, 2010 , p. unu.
21. ↑ 1 2 3 4 WordNet-Affect .
22. ↑ Strapparava, 2004 , p. 1086.
23. ↑ 1 2 WordNet-Affect ro .
24. ↑ Strapparava, 2004 , p. 1084.
25. ↑ Bovicev, 2010 .
26. ↑ 1 2 3 4 5 6 Stefano Baccianella, 2010 , p. 2200.
27. ↑ 1 2 3 SentiWordNet .
28. ↑ 1 2 Stefano Baccianella, 2010 , p. 2201.
29. ↑ Stefano Baccianella, 2010 , p. 2201-2202.
30. ↑ 123 SenticNet . _ _
31. ↑ Erik Cambria, 2012 .
32. ↑ 1 2 3 4 Erik Cambria, 2012 , p. 202.
33. ↑ 1 2 3 Erik Cambria, 2012 , p. 203.
34. ↑ Erik Cambria 2009, 2009 , p. unu.
35. ↑ SenticNet api love .
36. ↑ 1 2 Erik Cambria, 2012 , p. 205.
37. ↑ SenticNet api .
38. ↑ SenticNet principal .
39. ↑ 1 2 Pazelskaya, 2011 , p. 512.
40. ↑ Chetviorkin, 2012 .
41. ↑ 1 2 Klecovina, Kotelnikov, 2012 , p. 81.
42. ↑ Klecovina, Kotelnikov, 2012 .
43. ↑ Ustalov, 2012 .
44. ↑ Menshikov, 2012 , p. 1-3.
45. ↑ Menshikov, 2012 , p. 3-4.
46. ↑ Goldberg, Zhu, 2006 .
47. ↑ Ponomareva, Thelwall, 2012 .
48. ↑ 1 2 3 4 Nozomi Kobayashi, 2006 , p. patru.
49. ↑ Ogneva .

Literatură

• Stefano Baccianella. Sentiwordnet 3.0: O resursă lexicală îmbunătățită pentru analiza sentimentelor și analizarea opiniilor  (engleză)  // Actele LREC: conferință. - 2010. - P. 2200-2204 .
• Victoria Bovicev, Victoria Maxim, Tatiana Prodan, Natalia Burciu, Victoria Angheluş. Emoții în cuvinte: dezvoltarea unui WordNet-Affect multilingv  (engleză)  : CICLing 2010, Iași , România. - 2010. - P. 1-10 .
• J. Bollen, H. Mao, X.-J. Zeng. Dispoziţia Twitter prezice piaţa de valori  //  JRaport tehnic arXiv:1010.3003, CoRR : jurnal. — 2010.
• Eric Cambria. SenticNet 2: O resursă semantică și afectivă pentru analizarea opiniei și analiza sentimentelor  (engleză)  // Proceedings of AAAI FLAIRS : conferință. - 2012. - P. 202–207 .
• Erik Cambria, Amir Hussain, Catherine Havasi și Chris Eckl. Common Sense Computing: from the Society of Mind to Digital Intuition and Beyond  (engleză)  // Biometric ID Management and Multimodal Communication Lecture Notes in Computer Science: journal. - 2009. - P. 252-259 .

• Andrew Goldberg, Xiaojin Zhu. Vederea stelelor atunci când nu sunt multe stele: Învățare semi-supravegheată bazată pe grafice pentru categorizarea sentimentelor  //  Proceedings of the First Workshop on Graph Based Methods for Natural Language Processing, Computer Science Department University of Wisconsin-Madison : Conference . - 2006. - P. 45-52 .
• Minqing Hu, Bing Liu. Extragerea și rezumarea evaluărilor clienților  //  Proceedings of KDD: conferință. — 2004.
• Nozomi Kobayashi, Ryu Iida, Kentaro Inui, Yuji Matsumoto. Exploatarea opiniei pe web prin extragerea relațiilor subiect-aspect-evaluare  (engleză)  // Institutul Nara de Știință și Tehnologie, Takayama, Ikoma, Nara 630-0192, Japonia: conferință. - 2006. - P. 1-6 . Arhivat din original pe 2 februarie 2014.
• Bing Liu. Sentiment Analysis and Subjectivity // Manual de procesare a limbajului natural  (engleză) / ed. N. Indurkhya și F. J. Damerau. — 2010.
• Bernardo Magnini, Gabriela Cavaglia. Integrarea codurilor de câmpuri subiect în WordNet  (engleză)  : LREC . — 2000.
• Bo Pang, Lillian Lee, Shivakumar Vaithyanathan. Bravo? Clasificarea sentimentelor folosind tehnici de învățare automată  (engleză)  // EMNLP. - 2002. - P. 79-86 .
• Bo Pang, Lillian Lee. A Sentimental Education: Sentiment Analysis Using Subjectivity Summarization Based On Minimum Cuts  (Engleză)  // Proceedings of the Association for Computational Linguistics (ACL): journal. - 2004. - P. 271-278 .
• Bo Pang, Lillian Lee. Vederea stelelor: exploatarea relațiilor de clasă pentru clasificarea sentimentelor în funcție de scalele de evaluare  (engleză)  // În Proceedings of the 43rd annual meeting of the Association for Computational Linguistics (ACL) : journal. — Universitatea din Michigan, SUA, 2005. — Nr. 25–30 iunie . — P. 115–124 .
• Bo Pang, Lillian Lee. Miningul de opinii și analiza sentimentelor  (engleză)  // Fundamente și tendințe în regăsirea informațiilor : jurnal. - 2008. - Nr. 2 . - P. 1-135 .
• Natalia Ponomareva, Mike Thelwall. Ajută vecinii? O explorare a algoritmilor bazați pe grafice pentru clasificarea sentimentelor pe mai multe domenii  //  Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Natural Language Learning: conferință. - 2012. - P. 655–665 .
• Benjamin Snyder, Regina Barzilay. Clasificarea mai multor aspecte folosind algoritmul Good Grief  //  Proceedings of the Joint Human Language Technology/North American Chapter of the ACL Conference (HLT-NAACL): conferință. - 2007. - P. 300-307 .
• Carlo Strapparava, Alessandro Valitutti. WordNet-Affect: o extensie afectivă a WordNet  (engleză)  : LREC . - 2004. - Vol. 4 . — P. 1083–1086 . Arhivat din original pe 3 martie 2016.
• Fangzhong Su, Katja Markert. From Words to Senses: a Case Study in Subjectivity Recognition  //  Proceedings of Coling, Manchester, Marea Britanie. — 2008.
• Thelwall Mike, Buckley Kevan, Paltoglou Georgios, Cai Di, Kappas Arvid. Detectarea puterii sentimentelor într-un text informal scurt  (engleză)  // Journal of the American Society for Information Science and Technology : journal. - 2010. - P. 2544–2558 .
• Peter Turney. Degetul mare în sus sau în jos? Orientare semantică aplicată clasificării nesupravegheate a recenziilor  //  Proceedings of the Association for Computational Linguistics. - 2002. - P. 417-424 . - arXiv : cs.LG/0212032 . Arhivat din original pe 3 februarie 2013.
• David Yarowsky. Nesupravegheat Sensul cuvintelor Dezambiguizare Rivaling Supervised Methods  //  Proceedings of the 33rd Annual Meeting a Association for Computational Linguistics. Cambridge: conferință. - 1995. Arhivat la 20 martie 2014.
• M.V. Klekovkina, E.V. Kotelnikov. Metoda de clasificare automată a textelor după tonalitate bazată pe dicționarul vocabularului emoțional  // RCDL-2012, Pereslavl-Zalessky, Rusia: conferință. — 2012. (Rusă)
• Ilya Menșikov. Sentiment Analysis of Russian Text Using Graph Models  // Universitatea Federală Ural, Ekaterinburg, Rusia: conferință. - 2012. Arhivat la 15 decembrie 2013. (Rusă)
• Anna Pazelskaya, Alexey Solovyov. Metoda de determinare a emoțiilor în texte în limba rusă  // Conferința internațională de lingvistică computațională și tehnologii intelectuale „Dialog 2011” : conferință. - Moscova, 2011. - S. 510-522 .
• Dmitri Ustalov. Extragerea termenilor din texte în limba rusă folosind modele grafice  // Universitatea Federală Ural, Ekaterinburg, Rusia: conferință. - 2012. Arhivat la 2 septembrie 2013. (Rusă)
• Ilia Chetviorkin, Natalia Loukachevitch. Extragerea Lexicului Sentimentului Rusesc pentru Metadomeniul Produsului  (Engleză)  // COLING : conferință. — 2012.

Link -uri

• Washington, Erin. Analiza sentimentelor umane  . Creșterea rețelelor sociale (14 noiembrie 2013). Preluat la 11 decembrie 2013.

• Ogneva, M. Cum pot companiile să folosească analiza sentimentelor pentru a-și îmbunătăți  afacerea . Mashable (13 decembrie 2012). Preluat la 11 decembrie 2013.

• SentiWordNet  (engleză) .
• SenticNet  (engleză) .

•  Exemplu SenticNet .

•  SenticNet Despre .

• API  SenticNet .

• WordNet-Affect  (engleză) .
• Română și Rusă WordNet-Affect . (Rusă)