SinTagRus | |
---|---|
Volumul carcasei | peste 1,1 milioane de cuvinte |
Limba | Rusă |
Tipuri de marcare de bază | morfologic , sintactic , lexico- semantic |
Compilatoare | Laboratorul de Lingvistică Computațională IPTP RAS |
data creării | 1998 |
Acces | gratuit |
Licență | proprietate |
Site-ul web | proling.iitp.ru/ru/proje… |
SynTagRus ( eng. SynTagRus , prescurtare pentru engleză. Syntactically Tagged Russian text corpus , „corpus adnotat sintactic de texte rusești”) este un corpus profund adnotat de texte rusești , primul corpus de texte rusești cu marcaj sintactic . Acesta a fost dezvoltat din 1998 de Laboratorul de Lingvistică Computațională al IPTP RAS în cooperare cu Sectorul de Semantică Teoretică al IRL RAS . Corpusul este format din texte de diferite genuri; numărul total de utilizări de cuvinte este mai mare de 1 milion .
SynTagRus se bazează pe ideologia procesorului lingvistic polivalent ETAP . O caracteristică a corpusului este prezența mai multor niveluri de adnotare de diferite adâncimi, inclusiv marcajul morfologic și sintactic complet cu omonimia eliminată . Limbajul de marcare este XML .
SynTagRus este distribuit sub o licență necomercială . În plus, corpus a fost convertit în diferite formate; unele dintre aceste versiuni (sau convertizoare) sunt în domeniul public, iar o versiune limitată a corpusului original face parte din Corpusul național rus .
Apariția corpurilor de marcaj sintactic la începutul anilor 1990 a dus la dezvoltarea unor metode empirice în problemele de procesare a limbajului natural . Mai mult decât atât, utilizarea unor astfel de corpuri și-a găsit aplicația nu numai în contextul analizei sintactice în sine, ci și într-o serie de alte sarcini, inclusiv rezoluția polisemiei lexicale , analiza semantică etc. [1]
Până la sfârșitul anilor 1990, au fost create corpuri adnotate pentru majoritatea limbilor europene majore , în timp ce astfel de corpuri nu existau de fapt pentru limba rusă [2] . Mai mult, nici corpurile nemarcate care existau la acea vreme (de exemplu, Corpusul textelor rusești din Uppsala ) nu erau disponibile public [3] .
Din aceste motive, din 1998 [4] a început dezvoltarea primului corpus adnotat al limbii ruse SinTagRus [2] [5] , care a devenit ulterior standardul printre corpus cu marcaj sintactic [6] . În același timp, dezvoltatorii au luat parte și la crearea Corpusului Național al Limbii Ruse; în special, SynTagRus (cu unele restricții) a fost o parte integrală, dar complet autonomă a NCRP de la crearea acestuia din urmă [7] [8] . În NKRY pentru SinTagRus (ca subcorpus) este folosit și numele „corpus adnotat profund” [9] .
Dezvoltarea SinTagRus este realizată de Laboratorul de Lingvistică Computațională al IPTP RAS în cooperare cu Sectorul de Semantică Teoretică al IRL RAS [10] .
Materialul sursă pentru SinTagRus a fost Corpusul textelor rusești din Uppsala : aproximativ 10.000 de propoziții au fost preluate din textele de ficțiune. Ulterior, la corpus au fost adăugate texte scurte (până la 30 de propoziții), preluate de pe site-urile publicațiilor de știri populare ( yandex.ru , rbc.ru , polit.ru , lenta.ru , strana.ru , news.ru ) [ 2] [11] .
SynTagRus este în continuă evoluție și din 2020 are aproximativ 77 de mii de propoziții (mai mult de 1,1 milioane de cuvinte utilizate) [12] preluate din textele următoarelor genuri [13] [8] [14] :
O caracteristică distinctivă a SynTagRus în comparație cu alte corpuri adnotate ale limbii ruse este prezența mai multor niveluri de adnotare de diferite adâncimi, care pot fi extrase independent din corpus, iar numărul acestor niveluri este potențial nelimitat. Limbajul de marcare al corpusului este XML , iar formatul de marcare este compatibil cu formalismul TEI , cu excepția unor elemente și atribute introduse suplimentar [2] . Practic, marcarea textului liber se face în doi pași [11] :
Următoarele vor enumera tipurile de marcare disponibile în corpus.
Fiecare text din SinTagRus este împărțit în propoziții. Fiecare propoziție este un element numit S și fiecare astfel de element are un atribut ID a cărui valoare este numărul de serie al propoziției din text. În mod similar, fiecare propoziție este împărțită în elemente lexicale numite W , iar fiecare astfel de element are un atribut ID , a cărui valoare este numărul ordinal al cuvântului din această propoziție [11] . Semnele de punctuație sunt formatate ca textul etichetei propoziției (păstrând poziția lor relativă în textul sursă) și nu sunt exprimate prin propriile etichete [15] .
Structura morfologică a unei forme de cuvânt este numele unui lexem , sau lemei , căruia i se atribuie o parte de vorbire și caracteristici morfologice , adică semnificațiile categoriilor morfologice corespunzătoare . Pentru forma corespunzătoare a cuvântului, lema este valoarea atributului LEMMA , iar partea de vorbire și caracteristicile morfologice împreună sunt valoarea atributului FEAT [8] [16] .
Descrierea marcajului morfologic [17]Parte de vorbire | Reducere | Exemple |
---|---|---|
Substantiv | S | fabrică , i |
Adjectiv | A | noua mea _ |
Verb | V | rochie |
Adverb | ADV | rău , cam |
numeral | NUM | cinci , 2 |
Pretext | relatii cu publicul | sub |
Compozit | COM | aer , hidro |
Uniune | CONJ | și |
Particulă | PARTE | dupa toate acestea |
Interjecţie | INTJ | asa si asa |
Cuvântul este o includere în limbă străină | NID | Whatsapp , Berliner Zeitung |
Caracteristici morfologice | Reducere | Notă |
---|---|---|
Animaţie | ||
animat | OD | |
neînsufleţit | NEOD | |
Gen | ||
Masculin | SOȚUL | |
Femeie | FEMEIE | |
In medie | MIERCURI | |
Număr | ||
Singurul lucru | ED | |
plural | MN | |
caz | ||
Nominativ | LOR | |
Genitiv | GEN | |
Partitiv | PARTE | Indicat numai pentru substantivele în care această formă este diferită din punct de vedere grafic de forma genitivă |
Dativ | DAT | |
Acuzativ | VIN | |
Instrumental | TVOR | |
Prepozițional | ETC | |
Local | LOCAL | Indicat numai pentru substantivele în care această formă este diferită grafic de forma prepozițională |
Vocativ | SW | Indicat numai pentru substantivele în care această formă este diferită grafic de forma cazului nominativ |
Gradul de comparație | ||
Comparativ | SRAV | |
excelent | PREV | |
Concizie | ||
Scurt | KR | |
reprezentare | ||
Infinitiv | INF | |
Participiu | PRICH | |
gerunziu | ADANCĂ | |
Starea de spirit | ||
indicativ | Eșec | |
imperativ | POV | |
Vedere | ||
Imperfect | NESOV | |
Perfect | BUFNIŢĂ | |
Timp | ||
Non-trecut | NEPROSH | |
Trecut | PROSH | |
Prezentul | NAST | Atribuit numai verbului a fi în formă personală |
Față | ||
Primul | 1-L | Atribuit numai verbelor |
Al doilea | 2-L | |
Al treilea | 3-L | |
Angajament | ||
Pasiv | STRAD | |
caracteristici suplimentare | ||
Compoziţie | SL | |
Grad comparativ înmuiat | SMYAG |
Marcarea sintactică a propozițiilor corpus se realizează în cadrul gramaticii dependenței : structura sintactică este un arbore orientat , ale cărui noduri sunt cuvinte, iar fiecare margine este direcționată de la cuvântul principal la cuvântul servitor și corespunde unei relații sintactice . . Cuvântul corespunzător rădăcinii arborelui se numește vârful propoziției și, spre deosebire de restul cuvintelor din propoziție, nu depinde sintactic de niciunul. Grupurile sintactice sunt aranjate sub forma unor subarbori ai arborelui sursă: în fiecare astfel de subarbore, unul dintre membrii grupului este reprezentantul său în relațiile externe și îi subordonează pe restul membrilor grupului [18] . În total, în SinTagRus se disting aproximativ 70 de tipuri de relații sintactice [13] .
Relații sintactice folosite [17]Relația de sintaxă | Reducere | Gazdă cuvânt | Servitor cuvânt |
---|---|---|---|
Predicativ | predicat | Predicat | Subiect |
Dativ-subiectiv | data-subiect | Cuvânt de stat | subiect al stării notate de cuvântul gazdă |
Agentiv | agent | cuvânt pentru acțiune | Subiectul acțiunii notat de cuvântul gazdă |
Cvasi-agentiv | cvasi-agent | substantiv predicat | Cuvânt care implementează prima valență sintactică a cuvântului gazdă |
Proprietar-agentiv | agent defectuos | Verb | Un cuvânt care implementează prima valență semantică a unui substantiv care este un actant semantic al cuvântului gazdă |
Prima completă | 1 set | cuvânt predicat | Actantul sintactic al cuvântului gazdă, cu excepția primului. Astfel, prima relație complexă se referă la al doilea actant, a doua la al treilea și așa mai departe. |
Al doilea complet | 2-set | ||
Al treilea complet | 3-set | ||
Al patrulea complet | 4-set | ||
A cincea completă | 5-set | ||
Atașament | legat | Verbul legat | Parte nominală a predicatului |
Primul impropriu-complet | 1-set-greșit | verb funcțional | Complement (primul, al doilea etc.), a cărui gazdă semantică este un actant semantic al cuvântului gazdă |
Al doilea impropriu-complet | 2-set-greșit | ||
Al treilea impropriu-complet | 3-set-greșit | ||
Al patrulea impropriu-complet | 4-set-greșit | ||
A cincea impropriu-complet | 5-set-incorect | ||
Non-actant-complet | non-act-set | cuvânt predicat | Un cuvânt care nu este un actant semantic cu drepturi depline al cuvântului gazdă, dar este similar în funcție sintactică cu complementul |
Complementar-apozitiv | set appos | Substantiv parametric sau substantiv de tip zbor , rută , tren | Actantul semantic al cuvântului gazdă, dacă acest actant este exprimat în cazul nominativ sau echivalentul său sintactic |
prepozițională | oferi | Pretext | Vârful unei sintagme nominale în funcție de prepoziție |
Subordonare-aliat | subalianta | Sindicatul de subordonare | Vârful clauzei subordonate introdusă de sindicatul reparatori |
infinitiv-unire | inf-unire | Sindicatul de subordonare | Infinitiv |
Comparativ | comparaţie | Adjectiv sau adverb comparativ | Vârful unei sintagme nominale în cazul genitiv, reprezentând al doilea dintre membrii comparați sau o uniune comparativă decât |
Verb, nume sau adverb | uniune comparativă | ||
uniune comparativă | compara-unire | uniune comparativă | Al doilea dintre termenii comparați ai construcției comparative |
electivă | electivă | Numeral, adjectiv ordinal, adjectiv superlativ sau adjectiv cu cuvântul cel mai mult | Prepoziție din sau printre introducerea unei indicații a mulțimii în care se face alegerea |
propozițional-predicativ | predicat sfânt | Partea de sus a propoziției care exprimă situația descrisă în construcția de identificare | Substantiv pronominal demonstrativ cutare sau cutare în cazul nominativ |
Destinație-obligatorie | atribui-adr | Cuvânt relațional care acționează ca o parte nominală a predicatului cu o legătură (posibil zero). | Substantiv în cazul dativ, umplând, în esență, valența sintactică a cuvântului gazdă |
Relația de sintaxă | Reducere | Gazdă cuvânt | Servitor cuvânt |
---|---|---|---|
Determinanți | |||
definitiv | definit | Substantiv sau Adjectiv | adjectiv sau participiu |
Descriptiv-definitiv | op-def | Substantiv sau adjectiv | Adjectiv sau participiu acționând ca o definiție separată |
Ordinal aproximativ | ordine aproximativă | Substantiv | adjectiv ordinal |
Relativ | relație | Substantiv sau adjectiv | Vârful atributivului relativ |
atributiv general | |||
atributiv | atrib | Substantiv sau adjectiv | Definiție inconsecventă |
Compozit | compoziţie | A doua parte a cuvântului compus | Prima parte a unui cuvânt compus |
apozitiv | |||
apozitiv | apos | Substantiv | Următoarea aplicație |
Separat-apozitiv | ob-appos | Substantiv | Aplicație separată de cuvântul gazdă |
nominativ-apozitiv | nom-appos | Substantiv | Partea de sus a oricărui grup citat care exprimă un nume |
Numerativ-apozitiv | num appoz | Substantiv care denotă obiecte numerotate regulat | Numele este numeral în cazul nominativ sau scris cu cifre (indicând un număr) |
cantitativ | |||
cantitativ | cantitate | Substantiv | Numeral în prepoziție |
Aproximativ-cantitativ | număr aproximativ | Substantiv | Numeral în postpoziție |
Cantitativ-Copredicativ | număr-copred | Un verb în care există un substantiv în cazul genitiv, acționând ca subiect cu acesta | Partea de sus a grupului numeric sau partea de sus a grupului nominal cu o valoare cardinală |
Cantitativ-restrictiv | număr-limită | Adjectiv sau adverb comparativ | Adverb sau vârful grupului cu prepoziții în sau pe , indicând intensitatea |
distributie | distributie | Partea de sus a unei sintagme nominale care denotă un anumit parametru (preț, viteză, greutate etc.) | Un substantiv în cazul nominativ sau vârful unui grup cu prepoziții în , on , for , indicând o unitate de măsură |
aditiv | adaugă-l | Numeral sau vârful unui grup cantitativ | Numeral sau vârful unui grup cantitativ |
circumstanțial | |||
circumstanțial | obst | Un verb sau un cuvânt al unei alte părți de vorbire care este vârful unei propoziții | Circumstanţă |
lung | lung | Verb | O circumstanță a duratei exprimată printr-un substantiv în cazul acuzativ sau printr-un grup prepozițional cu sensul de cantitate sau distribuție aproximativă |
Multiplu-lung | multiplu-lung | Verb | O împrejurare cu durată multiplă exprimată printr-un substantiv la plural instrumental |
la distanta | distanţă | Verb | O împrejurare de întindere spațială exprimată de un substantiv în cazul acuzativ sau de un grup prepozițional cu sensul de cantitate sau distribuție aproximativă |
circumstanţial-tautologic | obst-taut | Verb | Un substantiv în cazul instrumental, duplicând o parte din sensul cuvântului gazdă |
circumstanțial subiectiv | submediu | Verb | O împrejurare în cauza instrumentală care caracterizează în același timp și subiectul acțiunii |
Obiect circumstanțial | obst | Verb | O împrejurare în cauza instrumentală care caracterizează în același timp și obiectul acțiunii |
subiectiv-copredicativ | sub-copr | Verb | Vârful frazei nominale în cazul nominativ sau instrumental, sau vârful grupului prepozițional, acționând într-o funcție apropiată de funcția părții nominale a predicatului compus, dar caracterizând subiectul în sens și (în cazul fraza nominală) în concordanță cu aceasta în gen și număr |
Obiect-Copredicativ | ob-copr | Verb | Vârful grupului nominal în cazul instrumental sau acuzativ sau vârful grupului prepozițional, care caracterizează obiectul. Dacă cuvântul-slujitor este exprimat printr-o frază nominală, atunci este în concordanță cu complementul în gen și număr |
Restrictiv | limitat | Cuvântul oricărei părți de vorbire | Particulă sau adverb restrictiv |
introductiv | introducere | Predicat sau alt membru al propoziției | Cuvânt introductiv, tură introductivă, propoziție sau recurs |
Explicativ | clar | Partea de sus a clauzei principale | Partea de sus a propoziției subordonate, inclusiv cuvântul asociat ce , de ce sau de ce |
explicativ | explica | Cuvânt arbitrar | Un cuvânt care are dependente și împreună cu acestea oferă informații suplimentare despre cuvântul gazdă sau grupul de cuvinte reprezentat de cuvântul gazdă. Este necesar un „marcator de clarificare” formal, care poate fi un semn de punctuație sau o expresie care introduce informații suplimentare |
alăturat | alăturat | Cuvântul care este „stăpânul” expresiei, al cărui vârf este cuvântul-slujitor | Vârful unei expresii dependent de cuvântul gazdă, situat în dreapta cuvântului gazdă și cuprins între paranteze sau delimitat pe ambele părți printr-o liniuță |
calificativ | clarificare | Reprezentant (vertex) al unei expresii | Reprezentant al unei expresii. Această expresie rafinează semantic expresia reprezentată de cuvântul gazdă, dar ambele expresii au aceeași funcție sintactică. |
Relația de sintaxă | Reducere | Gazdă cuvânt | Servitor cuvânt |
---|---|---|---|
scris | scris | Membru al structurii coordonatoare | Membru al unei construcții coordonatoare sau al unui sindicat coordonator. Situat imediat în dreapta cuvântului gazdă. |
propozițional-coordinativ | sfântul op | Partea de sus a primei propoziții omogene | Începutul celei de-a doua teze sau uniunea coordonatoare |
Coordonator-unire | op-unire | unire scris | Partea de sus a celui de-al doilea dintre termenii sau propozițiile omogene |
Multiplu | multiplu | Membrul principal al unei construcții multiple este un substantiv , adjectiv , adverb , numeral sau verb | Membru dependent al unei construcții multiple. Format fie în același mod ca membrul principal și separat de acesta printr-o cratimă, liniuță, două puncte sau bară oblică, fie introdus prin prepoziția „pe” sau „la” |
Relația de sintaxă | Reducere | Gazdă cuvânt | Servitor cuvânt |
---|---|---|---|
Analitic | analit | Elemente ale predicatului verbal compus . Aceste elemente formează un timp viitor complex sau conjunctiv . | |
Pasiv-analitic | trece anal | Verb - link „a fi” | Comuniune pasivă |
Cantitativ-auxiliar | număr-auxiliar | Partea dreaptă a unui numeral compus sau a unui adjectiv ordinal compus | Partea stângă a unui numeral compus sau a unui adjectiv ordinal compus |
relativ | corelație | Partea stângă a unei conjuncții rupte pereche , prepoziție sau particulă sau partea dreaptă a unei conjuncții de coordonare rupte pereche | Partea dreaptă a unei conjuncții pereche rupte, prepoziție sau particulă sau partea stângă a unei conjuncții de coordonare pereche rupte |
EXPLENTIV | explet | Pronume demonstrativ - „garnitură” așa , așa | Unirea subordonată sau vârful propoziției. Cuvântul principal este „descifrat” de cuvântul slujitor |
Proleptic | proleptus | Cuvânt ambiguu din punct de vedere semantic care ocupă o poziție completă într-o propoziție | Cuvânt spre exterior |
Auxiliar | auxiliar | Părți ale unității sintactice și semantice ale sintagmelor |
Pentru a înregistra informații despre structura sintactică a unei propoziții în SynTagRus, sunt utilizate două atribute ale fiecărui cuvânt al propoziției: DOM , a cărui valoare este ID -ul cuvântului gazdă și LINK , a cărui valoare este numele relația sintactică corespunzătoare [16] . Partea de sus a propoziției are valoarea specială a atributului _root DOM [19] .
Fiecărei forme de cuvânt, în plus față de lemă , i se atribuie atributul KSNAME , a cărui valoare este numele intrării corespunzătoare din dicționarul explicativ-combinatorial al procesorului lingvistic ETAP. Datorită acestui fapt, pe de o parte, se precizează semnificația cuvintelor polisemantice și omonime , iar pe de altă parte, se stabilește o legătură cu intrările din dicționar, care este folosit de procesorul ETAP, și informațiile conținute în acestea. devin disponibile intrări despre proprietățile semantice ale cuvintelor [10] .
Propozițiile sunt marcate cu fraze care pot fi interpretate în termeni de funcții lexicale . Pentru a marca astfel de fraze în interiorul propoziției, elemente suplimentare sunt create separat de formele de cuvânt în sine [13] .
Unitățile microsintactice din SynTagRus sunt înțelese ca unități frazeologice cu specific sintactic [20] . Un exemplu este prepoziţia compusă în vigoare . Pe de o parte, este apropiat din punct de vedere sintactic de prepozițiile primitive. Într-adevăr, este imposibil să se insereze o definiție pronominală unui substantiv între elementele acestei prepoziții, ca și în alte construcții prepoziționale de tip în forma , în caz , etc. În plus, dacă pronumele personal de persoana a treia este subiect la această prepoziţie din propoziţie, apoi în cele mai multe cazuri iniţiala n- , ca în cazul prepoziţiilor primitive. Pe de altă parte, prima parte a unor conjuncții pereche , precum și particula dacă sau , pot fi situate între prepoziția în vigoare și substantivul care depinde de aceasta, ceea ce face imposibilă atribuirea acestei prepoziții primitivilor [21] .
Dacă o unitate microsintactică apare într-o propoziție a corpusului, atunci se adaugă un nou atribut de propoziție - MICROSYNT , a cărui valoare este numele unității microsintactice corespunzătoare și limitele sale liniare [20] .
Pentru un pronume anaforic întâlnit în text , este indicat antecedentul acestuia , adică expresia la care se referă acest pronume. O propoziție în care se găsește un pronume anaforic are un atribut COREF suplimentar a cărui valoare este o listă de perechi pronume-antecedent corespunzătoare pronumelui dat. Pentru fiecare pronume anaforic se indică poziția sa liniară în propoziție, iar pentru antecedent, în plus, se indică suplimentar în ce propoziție față de cea luată în considerare se află (în cadrul a trei propoziții în ambele sensuri) [4] .
În SynTagRus, fragmentele omise de propoziții eliptice sunt restaurate în mod explicit. Forma de cuvânt restaurată corespunzătoare este marcată în același mod ca și alte forme de cuvânt; în special, toate legăturile sintactice necesare sunt extrase din astfel de cuvinte „fantomă”. Această formă de cuvânt i se atribuie atributul NODETYPE cu valoarea FANTOM [2] [22] .
SynTagRus este utilizat în diverse domenii. Pe de o parte, cercetarea pur lingvistică se desfășoară pe baza acesteia, atât teoretică, cât și practică (în special, în domeniul lexicografiei ). Pe de altă parte, corpus își găsește aplicarea în sarcinile lingvisticii computaționale ca sursă de date lingvistice, de exemplu, atunci când se creează analizatori . Aceste sarcini pot fi rezolvate folosind diferite formate de marcare. În același timp, combinarea mai multor clădiri cu marcaje diferite într-o singură face pe aceasta din urmă mai reprezentativă. Aceste împrejurări conduc la problema conversiei corpusului [4] .
Au existat încercări repetate de a traduce SynTagRus în alte formate de marcare: se știe că experimentele convertesc corpus în formatele HPSG și PDT [13] . În plus, SynTagRus a fost convertit cu succes în formatele CoNLL-U [22] , PTB [23] și SD [24] . Cu toate acestea, conversia , în primul rând, a vizat în toate cazurile numai marcaje morfologice și sintactice, iar în al doilea rând, a fost efectuată automat, ceea ce a devenit un obstacol în calea conversiei cu drepturi depline. Deci, de exemplu, partea de vorbire NID nu a putut fi tradusă fără ambiguitate în formatul CoNLL-U (în care nu există o astfel de parte de vorbire) automat, astfel încât toate propozițiile SinTagRus în care cel puțin o formă de cuvânt aveau astfel de o parte a vorbirii au fost excluse din corpus înainte de convertire [22] .
SynTagRus este distribuit gratuit sub o licență necomercială [25] . În plus, o versiune a corpusului fără anumite tipuri de markup este disponibilă pentru utilizare necomercială în scopuri de cercetare și predare ca subcorpus al Corpusului național al limbii ruse și este în domeniul public [13] , precum și versiuni în formatele CoNLL-U (licență CC BY-NC-SA 4.0 ) [22] și PTB (disponibil doar convertor) [23] .
Lingvistica corpusului | |
---|---|
corpuri engleze |
|
Corpuri în limba rusă |
|
Corpora în alte limbi |
|
Organizații |