Wikționar

Wiktionary este un  dicționar multilingv multifuncțional actualizat gratuit și un tezaur bazat pe un motor wiki . Unul dintre proiectele Fundației Wikimedia . A apărut inițial în engleză pe 12 decembrie 2002 .

Dicționarul conține descrieri gramaticale , interpretări și traduceri ale cuvintelor. În plus, articolele pot reflecta informații despre etimologia , proprietățile fonetice și relațiile semantice ale cuvintelor. Astfel, Wiktionary este o încercare de a combina dicționare gramaticale , explicative , etimologice și multilingve, precum și un tezaur, într-un singur produs.

Datele din Wikționar sunt utilizate în mod activ în rezolvarea diferitelor probleme legate de prelucrarea automată a textului și a vorbirii .

Concept lexicografic

Prin interrelația dintre diferitele secțiuni lingvistice ale Wikționarului și între contributorii la vocabularul Fundației Wikimedia și alte proiecte , colaboratorii la fiecare proiect pot folosi conceptele, instrumentele și materialele lexicografice create de colegii lor vorbitori de alte limbi. În cursul lucrărilor la diferite secțiuni lingvistice ale dicționarului, s-a format un concept complex de resursă lexicografică universală, care a devenit posibil pentru prima dată datorită tehnologiilor electronice. Conceptul presupune în cele din urmă o descriere completă și cuprinzătoare a tuturor unităților lexicale ale tuturor limbilor naturale (și artificiale de bază) care au o limbă scrisă. Completitudinea descrierii înseamnă disponibilitatea informațiilor despre fonetica, morfologia, proprietățile sintactice și semantice ale unității lexicale, etimologia, compatibilitatea și frazeologia acesteia. Completitudinea și gradul de coerență în implementarea acestui concept pot varia în diferitele secțiuni lingvistice ale proiectului.

În fiecare secțiune de limbă, limba „titulară” este centrală - toate articolele sunt scrise exclusiv în ea, în plus, scopul este de a oferi traduceri de cuvinte și alte unități ale acestei limbi în numărul maxim posibil de alte limbi. Cuvintele altor limbi sunt traduse, de regulă, numai în această limbă „titulară”. Deci, în Wikționarul rus pentru cuvintele rusești, se oferă interpretări și traduceri în limbi străine, pentru cuvintele străine, în loc de interpretări, se oferă traduceri în rusă .

Când se descrie morfologia, se încearcă să ofere cea mai completă imagine a inflexiunii, inclusiv o indicație a clasei de inflexiune. În special, informațiile morfologice despre lexemele rusești sunt date în conformitate cu clasificarea propusă de A. A. Zaliznyak .

Pentru a completa Wiktionarul, a fost creată o bibliografie extinsă , iar Wiktionarul englezesc a dezvoltat reguli pentru includerea unui termen în dicționar (vezi Criteriile de includere ). Spre deosebire de Wikipedia rusă , unde în selecția materialului se acordă prioritate surselor autorizate [Nota 1] , în Wikționarul rusesc, prevalează analiza utilizării cuvintelor efectuată de editorul articolului [Nota 2] .

Tezaur

Wikționarul conține următoarele relații semantice: sinonime , antonime , hipernime , hiponime , cohiponime , holonime , meronime , paronime .

Wikipedia și Wikționar

Wikționarul nu include descrieri detaliate ale faptelor și informații enciclopedice. Cu toate acestea, Wikționarul oferă informații unice care nu se găsesc pe Wikipedia: colocări, proverbe, abrevieri, acronime, descrieri ale erorilor de ortografie, ortografii/pronunțări simplificate/corupte ale cuvintelor, cazuri de utilizare controversate, protologisme , onomatopee , stiluri diferite (de exemplu, colocvial) și subiect zone [1] . Astfel, Wikipedia și Wikționar se completează reciproc.

Wiktionary este similar cu Wikipedia prin faptul că (1) există legături interne către intrări despre cuvinte din Wiktionary, (2) există categorii, (3) există interwiki -uri care leagă la intrări despre același cuvânt într-un dicționar de limbă străină [1] .

Secțiunea rusă

Dinamica dezvoltării Wiktionarului rus

Secțiunea rusă a Wikționarului a fost creată în primăvara anului 2004 . Timp de un an și jumătate, practic nu s-a dezvoltat, reumplendu-se la întâmplare, în principal cu material de calitate scăzută. Situaţia a început să se schimbe la sfârşitul anului 2005  - începutul lui 2006 .

În 2006, a fost numit primul administrator al Schwallex , volumul articolelor a crescut de aproape patru ori față de anul precedent, au fost create instrumente puternice de descriere a morfologiei și a început să se contureze un sistem dezvoltat de categorii semantice.

Până în toamna lui 2006, numărul de intrări în Wiktionarul rus ajunsese la 10.000; apoi, datorită creării unui bot care folosește dicționare din alte secțiuni ale Wikționarului pentru a genera articole goale în secțiunea rusă, într-o lună și jumătate au fost adăugate încă aproximativ 70.000 de articole. Pe 7 noiembrie 2006, Wiktionary a depășit pragul de 80.000, iar pe 10 decembrie 2006, a fost luat pragul de 100.000 de intrări. Pe 17 decembrie 2018, numărul articolelor a depășit 1.000.000. Numărul participanților activi a fost de aproximativ 230.

Spre deosebire de situația cu dicționarele tradiționale, completitudinea Wikționarului nu poate fi evaluată în mod adecvat printr-un indicator formal al numărului de intrări. Contorul automat nu face distincție între discuri pe jumătate goale și articole cu adevărat informative, în plus, nu ține cont de omonimia intralingvistică și interlingvă. De exemplu, intrarea din dicționar bor este listată ca o singură intrare, între timp, acest articol descrie mai multe lexeme omonime ale limbii ruse, precum și lexeme cu același nume în alte limbi (bulgară, tătără), - în dicționarele tradiționale acest lucru materialul ar fi aranjat şi luat în considerare sub forma mai multor intrări .

Comparație cu alte Wikționare

Începând din august 2008, Wikționarul rus s-a clasat pe primul loc în ceea ce privește dimensiunea bazei de date printre toate Wikționarele [3] . În același timp, numărul de intrări în Wikționarul rus nu este cel mai mare [4] . Acest lucru se datorează parțial faptului că pentru proiectele care au mai multe articole decât în ​​Wikționarul rus, articolele pot avea o dimensiune medie de o dimensiune mai mică, așa cum se poate vedea pe site-ul de statistici [5] .

În plus, Wikționarul rus, în comparație cu alte secțiuni ale Wikționarului, conține o cantitate mai mare de informații auxiliare, inclusiv tabele de căutare, liste de cuvinte frecvente etc. (spre deosebire de intrările din dicționar care formează așa-numitul spațiu de nume principal, astfel de informații sunt plasate în secțiunile ”, „Indici”, etc.). Un număr semnificativ de intrări în Wikționarul rus sunt încă spații goale generate de roboți. Deși uneori se poate întâlni critici la adresa unui număr mare de articole goale, o astfel de pre-markup are multe avantaje. În primul rând, ajută la crearea mai rapidă a articolelor prin pre-includerea unor informații, cum ar fi partea de vorbire a cuvântului care este descris. În al doilea rând, structura articolelor este în curs de standardizare. Datorită utilizării pe scară largă a șabloanelor (care sunt de obicei eliminate imediat de roboți când creează automat articole), devine posibilă schimbarea centrală a aspectului multor articole simultan. Prezența unui număr mare de șabloane ajută, de asemenea, la editarea automată ulterioară a articolelor deja create - de exemplu, așezați automat traducerea conform dicționarelor pregătite în prealabil (deoarece este mai ușor pentru roboți să navigheze în structura unui articol deja marcat cu structuri specializate, mai degrabă decât limbajul uman). O trăsătură distinctivă a Wikționarului rus este un concept bine dezvoltat de dezvoltare (care poate fi găsit pe pagina principală). Datorită conceptului bine dezvoltat și utilizării pe scară largă a șabloanelor, articolele din Wikționarul rus arată mai mult de același tip decât în ​​multe alte proiecte (numărul de secțiuni, ordinea în care apar, designul fiecărei secțiuni sunt, în principiu, la fel).

Autorii au calculat numărul de intrări din dicționar despre cuvintele rusești, numărul de intrări cu și fără interpretări în două Wikționare (ilustrate). Politica editorilor Wiktionarului englez (de a nu crea articole goale) a fost confirmată: există doar 5,57% dintre intrările din dicționar despre cuvintele rusești fără interpretare. În Wikționarul rus există 60,39% dintre astfel de articole. Cu toate acestea, în Wikționarul rus (din 2011) există de aproape 3,4 ori mai multe intrări cu interpretări pentru cuvintele rusești decât în ​​Wikționarul englez: 53,6 mii față de 15,7 mii [2] .

Aplicație în sarcini NLP

Pentru a utiliza datele lexicografice din Wikționar în rezolvarea problemelor de procesare automată a textului și a vorbirii,  este necesar să convertiți textele intrărilor din dicționar ( date semi-structurate [6] ) într-un format care poate fi citit de mașină [7] [8] [9] .

Extragerea datelor din wiktionare nu este o sarcină ușoară. Următoarele dificultăți pot fi identificate [10] : (1) modificări regulate și frecvente atât în ​​​​datele, cât și în structura însăși a articolelor, (2) diferite wikționare au o structură și un format diferit de articole [Nota 3] , (3) tehnologia wiki se concentrează inițial pe ușurința de utilizare, nu făcută de mașini.

Există mai multe analizoare pentru diferite Wikționare [11] :

• DBpedia Wiktionary  este una dintre extensiile proiectului DBpedia , datele sunt extrase din Wiktionarele engleză, franceză, germană și rusă. Extrase: limbaj, parte de vorbire, interpretare, relații semantice, traduceri. Pentru extragerea datelor se folosesc: descrierea declarativă a structurii de introducere a dicționarului [12] , expresii regulate [13] și FST - un fel de mașină de stări [14] .
• JWKTL (Java Wiktionary Library) - API la datele Wiktionarelor engleze și germane [15] . Extrase: limbaj, parte de vorbire, interpretare, citate, relații semantice, etimologie și traduceri. Programul este disponibil pentru uz necomercial.
• wikokit  este un parser pentru Wiktionarele engleză și rusă [16] . Extrase: limbă, parte de vorbire, interpretare, citate [17] (numai pentru Wikționarul rus), relații semantice [18] și traduceri. Codul sursă al programului este disponibil în condițiile unei licențe multiple deschise .

Wiktionarele sunt folosite pentru a rezolva diverse sarcini legate de procesarea textului și a vorbirii [19] :

• traducere automată bazată pe reguli între olandeză și afrikaans ; în cadrul sistemului Apertium sunt folosite date din Wiktionarele engleză și olandeză și două wikipedii ;
• crearea unui dicționar care poate fi citit de mașină de către analizatorul NULEX care integrează resurse lingvistice deschise: Wikționar englezesc, WordNet și VerbNet [21] . Pentru un substantiv, partea de vorbire și forma pluralului au fost extrase din Wikționarul englez, iar pentru verbe, timpul. Screen scraping a fost folosit pentru a extrage date din Wiktionary ;
• recunoașterea și sinteza vorbirii , unde Wikționarul acționează ca o sursă de date pentru construirea automată a unui dicționar de pronunție [22] . Perechile cuvânt-pronunțare sunt extrase (transcriere în sistemul IPA ) din Wiktionarele cehă, engleză, franceză, germană, poloneză și spaniolă [Nota 4] . La verificare, cel mai mare număr de erori s-a dovedit a fi în transcripții extrase din Wiktionarul englez [23] ;
• construirea de ontologii [24] și baze de cunoștințe [25] ;
• maparea ontologiei [26] ;
• simplificarea textului . În [27] , complexitatea cuvintelor este estimată pe baza datelor din Wikționar. Pentru un cuvânt din Wikționarul englez, sunt extrase următoarele: dimensiunea intrării din dicționar, numărul de părți de vorbire, numărul de sensuri și numărul de traduceri. Autorii lui [27] au sugerat că cuvintele mai simple, mai simple, mai comune ar fi cele care au mai multe semnificații (adică dimensiunea articolului va fi mai mare), mai multe părți de vorbire și mai multe traduceri. Mai departe, cuvintele „complexe” găsite în text trebuie parafrazate, ar trebui găsite echivalente mai „simple”, ceea ce va duce la simplificarea (adaptarea) textului;
• marcare parțială . În (Lee et al., 2012) [28] , pe baza datelor Wiktionarului englez, POS-tagger-uri au fost construite pentru opt limbi cu „resurse lingvistice slabe” folosind modele Markov ascunse . [Nota 5]
• analiza sentimentului textului [29] .

Vezi și

• Tatoeba

Note

1. ↑ Wikipedia: Surse autorizate

   Articolele Wikipedia trebuie să se bazeze pe surse autorizate publicate .

2. ↑ Wikționar: Concept lexicografic

   Dacă există dezacorduri cu privire la oricare dintre proprietățile descrise ale oricărei unități lingvistice, se acordă prioritate (în termeni de dovezi) surselor corpus.

3. ↑ Comparați, de exemplu, structura și regulile de formatare a articolelor din Wikționarul englez și cel rusesc .
4. ↑ Dacă există mai multe transcrieri în intrarea din dicționar, atunci prima este luată.
5. ↑ Codul sursă al programului și rezultatele etichetării parțiale sunt disponibile online: https://code.google.com/p/wikily-supervised-pos-tagger Arhivat 14 aprilie 2013 la Wayback Machine

1. ↑ 12 Zesch et al, 2008 , p. 2.
2. ↑ 1 2 Smirnov și colab., 2012 .
3. ↑ Wiktionary Statistics: Database size . Data accesului: 28 octombrie 2010. Arhivat din original pe 10 august 2011. (nedefinit)
4. ↑ Wiktionary Statistics . Consultat la 14 februarie 2010. Arhivat din original pe 5 ianuarie 2009. (nedefinit)
5. ↑ Statistici Wiktionary: Bytes per article . Consultat la 14 februarie 2010. Arhivat din original pe 10 august 2011. (nedefinit)
6. ↑ Meyer și Gurevych, 2012 , p. 140.
7. ↑ Zesch et al, 2008 , Figura 1, p. patru.
8. ↑ Meyer și Gurevych, 2010 , p. 40.
9. ↑ Krizhanovsky, Transformare, 2010 , p. unu.
10. ↑ Hellmann și Auer, 2013 , p. 16 în PDF, p. 302.
11. ↑ Hellmann et al, 2012 , Tabelul 1, p. 3.
12. ↑ Hellmann et al, 2012 , pp. 8-9.
13. ↑ Hellmann et al, 2012 , p. zece.
14. ↑ Hellmann et al, 2012 , p. unsprezece.
15. ↑ Zesch et al, 2008 .
16. ↑ Krizhanovsky, Transformare, 2010 .
17. ↑ Krizhanovsky, 2011 .
18. ↑ Krizhanovsky, Comparație, 2010 .
19. ↑ Smirnov și colab., 2012 , pp. 233-234.
20. ↑ Otte și Tyers, 2011 .
21. ↑ McFate și Forbus, 2011 .
22. ↑ Schlippe et al., 2012 .
23. ↑ Schlippe et al., 2012 , p. 4804.
24. ↑ Meyer și Gurevych, 2012 .
25. ↑ ConceptNet 5 . Consultat la 17 aprilie 2013. Arhivat din original pe 19 aprilie 2013. (nedefinit)
26. ↑ Lin și Krizhanovsky, 2011 .
27. ↑ 12 Medero și Ostendorf, 2009 .
28. ↑ Li et al, 2012 .
29. ↑ Chesley et al, 2006 .

Literatură

• Krizhanovsky A. Transformarea structurii unei intrări de dicționar Wiktionar în tabele și relații ale unei baze de date relaționale  : preprint. — 2010.
• Krizhanovsky A. Comparația tezaurilor Wiktionarelor rusă și engleză convertite într-un format care poate fi citit de mașină  : preprint. — 2010.
• Krizhanovsky A. Evaluarea utilizării corpurilor și a bibliotecilor digitale în Wiktionarul rus // Actele conferinței internaționale „Corpus Linguistics-2011”. - Sankt Petersburg. : statul Sankt Petersburg. Universitatea, Facultatea de Filologie, 2011. - P. 217-222. — 348 p. - ISBN 978-5-8465-0005-5 .
• Smirnov A. V., Kruglov V. M., Krizhanovsky A. A., Lugovaya N. B., Karpov A. A., Kipyatkova I. S. Analiza cantitativă a vocabularului rusesc WordNet și a Wiktionares // Proceedings of SPIIRAS. - Sankt Petersburg. , 2012. - T. 23. - S. 231–253.
• Chesley P., Vincent B., Li Xu, Srihari RK Utilizarea verbelor și adjectivelor pentru a clasifica automat sentimentele blogului // Training. - 2006. - T. 580. - S. 233-235.
• Hellmann S., Brekle J., Auer S. Leveraging the Crowdsourcing of Lexical Resources for Bootstrapping a Linguistic Data Cloud  : Proc. Joint Int. Semantic Technology Conference (JIST), 2-4 decembrie. — Nara, Japonia, 2012.
• Hellmann S., Auer S. Towards Web-Scale Collaborative Knowledge Extraction // The People's Web Meets NLP / Gurevych, Iryna; Kim, Jungi. - Springer, 2013. - S. 287-313. — 378 p. - (Teoria și aplicațiile procesării limbajului natural). - ISBN 978-3-642-35084-9 .
• Li S., Graça JV, Taskar B. Etichetarea parțială a vorbirii, supravegheată de Wiki  : Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. - Insula Jeju, Coreea: Asociația pentru Lingvistică Computațională, 2012. - S. 1389-1398 . Arhivat din original pe 22 mai 2013.
• Lin F., Krizhanovsky A. Potrivirea ontologiei multilingve pe baza datelor Wiktionary accesibile prin punctul final SPARQL // Proc. a 13-a Conferință rusă privind bibliotecile digitale RCDL'2011. 19-22 octombrie, Voronej, Rusia. - 2011. - S. 19-26.
• McFate C., Forbus K. NULEX: An Open-License Broad Coverage Lexicon // The 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, Proceedings of the Conference, 19-24 June, 2011, Portland, Oregon, USA - Lucrări scurte. - Asociația pentru Lingvistică Informatică, 2011. - S. 363-367. - ISBN 978-1-932432-88-6 .
• Medero J. și Ostendorf M. Analiza dificultății de vocabular folosind wikționar // Proc. Atelier SLATE. — 2009.
• Meyer CM și Gurevych I. Worth its Weight in Gold or Yet Another Resource - A Comparative Study of Wiktionary, OpenThesaurus și GermaNet  : Proc. A 11-a Conferință Internațională de Procesare Inteligentă a Textelor și Lingvistică Computațională. - Iaşi, România, 2010. - P. 38-49 . Arhivat din original la 1 decembrie 2017.
• Meyer CM și Gurevych I. OntoWiktionary – Construirea unei ontologii din dicționarul online colaborativ Wiktionary // Semi-Automatic Ontology Development: Processes and Resources / MT Pazienza și A. Stellato. - IGI Global, 2012. - P. 131-161. — ISBN 978-1-4666-0188-8 .
• Otte P., Tyers FM Traducere automată rapidă, bazată pe reguli, între olandeză și afrikaans // EAMT 2011: proc. a celei de-a 15-a conferințe a Asociației Europene pentru Traducere automată / Mikel L. Forcada, Heidi Depraetere, Vincent Vandeghinste. - Leuven, Belgia, 2011. - P. 153-160.
• Schlippe T., Ochs S., Schultz T. Generarea de modele de la grafem la fonem pentru limbile indo-europene ​​// În lucrările celei de-a 37-a Conferințe internaționale privind acustică, vorbire și procesare a semnalului (ICASSP 2012), Kyoto, Japonia , 25 -30 mar. - 2012. - S. 4801-4804.
• Zesch T., Müller C., Gurevych I. Extragerea cunoștințelor semantice lexicale din Wikipedia și Wikționar.  :Proc. a celei de-a 6-a Conferințe Internaționale privind resursele lingvistice și evaluarea. — Marrakech, Maroc, 2008.

Link -uri

• Wikționar
• Wiktionar rus

În rețelele sociale	Stare de nervozitate
Dicționare și enciclopedii	mare chinezesc