Corpus general de internet al limbii ruse

Corpusul general de internet al limbii ruse (GIKRYA) este un corpus  electronic online de texte rusești care poate fi căutat de pe Internet. Deschis în 2013 . Corpusul include materiale text din blogosferă , rețele sociale , din cele mai mari resurse de știri și din reviste literare .

Obiectivele proiectului

Proiectul are statut de educațional și științific, iar multe probleme de lingvistică computațională sunt rezolvate de cercetători independenți și grupuri științifice pe baza materialului primit de GICR. În timp ce alte proiecte de corpus se concentrează pe ficțiune și texte editate , General Internet Corpus oferă lingviștilor ruși oportunitatea [1] de a studia limba așa cum este, cu toate caracteristicile regionale și argotice .

Corpul face posibil:

• Studii lingvistice dintr-o gamă largă: studii dialectologice , studiul distribuției cuvintelor, studiul limbajului rețelelor sociale , studiul influenței genului , vârstei și a altor factori asupra limbii , frecvența cuvintelor, expresiile stabilite și diverse construcții, caracteristici stilistice ale textelor diferitelor segmente ale Internetului și așa mai departe;
• Analiza rețelelor sociale ;
• Învățare automată bazată pe corpus [2] , îmbunătățirea algoritmilor de etichetare automată.

În diferite momente, cercetări și cercetări independente asupra materialului proiectului au fost efectuate de studenți, studenți absolvenți și angajați ai Universității de Stat din Moscova , Institutului de Fizică și Tehnologie din Moscova , Universitatea de Stat Rusă pentru Științe Umaniste , Universitatea de Stat Novosibirsk, Universitatea Națională de Cercetare Școala Superioară de Economie , Institutul de Cercetări Nucleare, Academia Rusă de Științe , Universitatea Federală de Sud , ChSU , VGPU , ISAA MSU .

Supraveghetori științifici ai proiectului:

• Belikov V. I. - Universitatea de Stat din Moscova , Universitatea Umanitară de Stat Rusă , Moscova , Rusia ;
• Selegey V.P. - Universitatea de Stat Rusă pentru Științe Umaniste ; MIPT ; ABBYY , Moscova , Rusia ;
• Sharov S. A. - Universitatea Rusă de Stat pentru Științe Umaniste , Moscova , Rusia ; Universitatea din Leeds , Marea Britanie [3] .

La crearea și susținerea proiectului au participat următoarele persoane:

• Universitatea Rusă de Stat pentru Științe Umaniste ;
• ABBYY ;
• Institutul de Fizică și Tehnologie din Moscova (Universitatea de Stat) ;
• Universitatea Skoltech .

Volumul și compoziția corpului

Volumul corpusului pentru vara anului 2016 este de 19,8 miliarde de cuvinte, dintre care 49 % sunt pe Vkontakte , 40% pe LiveJournal , alți 4% pe [email protected] și News și 2% pe Sala Jurnal [4] . Segmentul Știri conține materiale din surse: RIA Novosti , Regnum , Lenta.ru , Rosbalt . Textele sunt furnizate cu meta-markup (până la data creării textului, sexul, locul și anul nașterii autorului, genul de pe internet și așa mai departe); toate textele sunt echipate cu marcaj morfologic automat și lematizate [4] . Majoritatea textelor sunt create de înregistrări pentru 2013-2014 , deși unele segmente, de exemplu, în Sala Jurnalului, conțin texte începând din 1994 [5] .

GICR este unul dintre puținele mega-corpuri care ajunge la câteva miliarde de cuvinte.

Acces

Interfața corpus este în prezent în testare beta , așa că accesul la căutarea corpus este oferit și este gratuit, totuși, la cerere.

Vezi și

• Corpus de texte
• Primirea automată a corpusului marcat
• NRC

Note

1. ↑ VLADIMIR BELIKOV . Preluat la 26 decembrie 2019. Arhivat din original la 16 noiembrie 2019. (Rusă)
2. ↑ Clasificarea automată a textelor web utilizând dimensiuni funcționale ale textului . Consultat la 8 iunie 2016. Arhivat din original pe 26 iunie 2016. (nedefinit)
3. ↑ Echipa | GIKRYA . Preluat la 26 decembrie 2019. Arhivat din original la 5 ianuarie 2020. (Rusă)
4. ↑ 1 2 Corp | GIKRYA . Preluat la 26 decembrie 2019. Arhivat din original la 3 decembrie 2019. (Rusă)
5. ↑ #geekrya #geekrya_stats Pentru ce... | GIKRYA Corpus general de internet al limbii ruse | VK

Literatură

• Oamenii de știință ruși vor marca Internetul (pe site-ul „Știința și Tehnologia Rusiei - STRF.ru”)
• Belikov V., Kopylov N., Pipersky A., Selegey V., Sharov S. (2013), Corpus ca limbaj: de la scalabilitate la completitudine diferențială. Lingvistică computațională și tehnologii inteligente. Pe baza materialelor conferinței anuale Dialog, Bekasovo.
• Pipersky A. Ch. (2013) Corpusul general de internet al limbii ruse și conceptul de reprezentativitate în lingvistica corpus. Institutul de Lingvistică, Universitatea Rusă de Stat pentru Științe Umaniste, Moscova, Rusia
• Sharov S. A., Belikov V. I., Kopylov N. Yu., Sorokin A. A., Shavrina T. O. (2015) Corpus cu ambiguitate morfologică dezambiguată automat: către o metodologie pentru cercetarea lingvistică. Lingvistică computațională și tehnologii inteligente. Pe baza materialelor conferinței anuale Dialog, Bekasovo.

Link -uri

• Site-ul oficial al GIKRYA