Extragerea de cunoștințe

Extragerea din surse structurate în RDF

Mapare 1:1 de la tabele/vizualizările bazei de date relaționale la entități/atribute/valori RDF

Când construiți o reprezentare a unei baze de date relaționale (RDB, ing. baze de  date relaționale ), punctul de plecare este adesea o diagramă entitate-relație ( ing.  diagramă entitate-relație , ERD). De obicei, fiecare entitate este reprezentată ca un tabel de bază de date, fiecare proprietate de entitate devine o coloană în acel tabel, iar relația dintre entități este afișată prin chei străine. Fiecare tabel definește de obicei o anumită clasă de entitate și fiecare coloană definește una dintre proprietățile acelei entități. Fiecare rând din tabel descrie o instanță a unei entități, identificată în mod unic printr-o cheie principală. Rândurile tabelului împreună descriu setul de entități. În reprezentarea echivalentă RDF a aceluiași set de entități:

• Fiecare coloană din tabel este o proprietate (adică un predicat)
• Fiecare valoare dintr-o coloană este o proprietate de atribut (adică este un obiect)
• Fiecare cheie de rând reprezintă un ID de entitate (adică un subiect)
• Fiecare rând reprezintă o instanță a unei entități
• Fiecare rând (instanță de entitate) este reprezentat în RDF ca o colecție de tupluri cu un subiect comun (ID de entitate).

Deci, pentru a exprima o reprezentare echivalentă bazată pe semantica RDF, algoritmul de bază ar fi:

1. creați o clasă RDF Schema (RDFS) pentru fiecare tabel
2. converti toate cheile principale și cheile externe în identificatori IRI
3. atribuiți un predicat IRI fiecărei coloane
4. atribuiți rdf: introduceți predicatul fiecărei linii asociindu-l cu identificatorul IRI al clasei RDFS
5. Pentru fiecare coloană care nu face parte nici din cheia principală, nici din cheia străină, construim un triplu care conține IRI-ul cheii principale ca subiect (subiect), IRI-ul coloanei ca predicat și valoarea coloană ca obiect.

O referire timpurie la cartografierea de bază sau directă poate fi găsită în comparația lui Tim Berners-Lee a modelului ER cu modelul RDF [4] .

Mapări complexe ale bazelor de date relaționale în RDF

Maparea 1:1 menționată mai sus reprezintă datele vechi ca RDF direct, iar o rafinare suplimentară poate fi utilizată pentru a îmbunătăți utilitatea ieșirii RDF în funcție de cazul de utilizare dat. De regulă, informațiile se pierd în timpul transformării unei diagrame entitate  -relație (ERD) în tabele relaționale (o descriere detaliată poate fi găsită în articolul „ Dispotrivire obiect-relație ”) și trebuie restaurată prin inginerie inversă . Conceptual, abordările de extracție pot veni din două direcții. Prima direcție încearcă să extragă sau să antreneze (folosind machine learning) o schemă OWL dintr-o schemă de bază de date dată. Abordările timpurii au folosit un număr fix de reguli de cartografiere realizate manual pentru a îmbunătăți maparea 1:1 [5] [6] [7] . Metode mai elaborate au folosit algoritmi euristici sau de învățare pentru a genera informații schematice (metodele se suprapun cu învățarea ontologiei ). În timp ce unele abordări încearcă să extragă informații din structura inerentă schemei SQL [8] (prin analizarea, de exemplu, chei externe), alte abordări analizează conținutul și valorile din tabele pentru a crea ierarhii conceptuale [9] (de exemplu , coloanele cu puține valori sunt candidate pentru a deveni categorii). Cea de-a doua direcție încearcă să mapați schema și conținutul acesteia la o ontologie de domeniu existentă (vezi și „ Cartarea ontologiei ”). Deseori, totuși, o ontologie de domeniu adecvată nu există și trebuie mai întâi creată.

XML

Deoarece XML este structurat ca un arbore, este ușor să reprezentați orice date în format RDF, care este structurat ca un grafic. XML2 RDF este un exemplu de abordare care utilizează noduri RDF goale și transformă elemente și atribute XML în proprietăți RDF. Cazul este însă mai complex decât în ​​cazul bazelor de date relaționale. În tabelele relaționale, cheia principală este un candidat ideal pentru subiectul triplelor distinse. Un element XML, totuși, poate fi convertit - în funcție de context - ca subiect, ca predicat sau ca obiect triplu. XSLT poate fi folosit ca limbaj de transformare standard pentru conversia manuală XML în RDF.

Prezentare generală a metodelor/mijlocurilor

Extragere dintr-o sursă în limbaj natural

Cea mai mare parte a informațiilor conținute într-un document de afaceri (aproximativ 80% [11] ) este codificată în limbaj natural și, prin urmare, nu este structurată. Deoarece datele nestructurate sunt mai degrabă o sarcină dificilă pentru extragerea cunoștințelor, sunt necesare metode mai sofisticate, care de obicei dau rezultate mai proaste decât datele structurate. Cu toate acestea, capacitatea de a dobândi o cantitate imensă de cunoștințe extrase compensează complexitatea crescândă și deteriorarea calității extracției. Mai mult, sursele în limbaj natural sunt înțelese ca surse de informații în care datele sunt date ca date textuale nestructurate. Dacă textul dat este inserat într-un document de marcare (cum ar fi un document HTML), aceste sisteme elimină de obicei elementele de marcare automat.

Extragerea de informații tradiționale

Extracția tradițională a informațiilor ( IE [12] ) [13] este o   tehnologie de procesare a limbajului natural care extrage informații din textele în limbaj natural și le structurează în mod corespunzător. Tipurile de informații care trebuie extrase trebuie specificate în model înainte de începerea procesului de prelucrare, motiv pentru care întregul proces de extragere a informațiilor tradiționale este dependent de domeniul subiectului luat în considerare. FROM ( ing. IE ) este împărțit în următoarele cinci subsarcini.  

• Recunoașterea entității denumite ( ing.  Recunoașterea entității denumite , NER)
• Rezoluția coreferenței ( CO  )
• Construcția elementului șablon ( TE  ) (sau Adăugarea de atribute la entități)
• Identificarea relațiilor dintre entități (BC, ing.  Construcție relație șablon , TR)
• Crearea unei descrieri complete a evenimentului (PPO, ing.  Producerea scenariului șablon , ST)

Sarcina recunoașterii entităților numite este de a recunoaște și clasifica toate entitățile denumite conținute în text (atribuirea entităților denumite la categorii predefinite). Funcționează prin aplicarea unor metode bazate pe gramatică sau modele statistice.

Rezoluția coreferenței stabilește entități echivalente care au fost recunoscute în text de algoritmul NER. Există două tipuri legate de relații de echivalență. Prima relație se referă la o relație între două entități diferite (de exemplu, IBM Europa și IBM), iar a doua se referă la o relație între o entitate și referința ei anaforică (de exemplu, aceasta și IBM). Ambele specii pot fi recunoscute prin rezoluție de coreferență .

În timpul construcției elementelor șablon, sistemul IE stabilește proprietățile descriptive ale entităților recunoscute de sistemele NER și CO. Aceste proprietăți corespund calităților comune precum „roșu” sau „mare”.

Identificarea relațiilor dintre entitățile individuale stabilește relațiile care există între elementele șablonului. Aceste relații pot fi de mai multe feluri, cum ar fi work-for sau localizate-in, cu constrângerea că atât domeniul de aplicare, cât și intervalul corespund entităților.

Descrierile complete ale evenimentelor care se desfășoară în text sunt recunoscute și structurate în funcție de entitățile recunoscute de sistemele NER și CO, iar relațiile sunt recunoscute de sistemul BC.

Extragerea de informații pe baza ontologiilor

Extracția informațiilor bazate pe ontologie ( OBIE  ) [11] este un subdomeniu al extracției de informații care utilizează cel puțin o ontologie pentru a gestiona procesul de extragere a informațiilor din textul în limbaj natural. Sistemul OBIE folosește tehnici tradiționale de extragere a informațiilor pentru a recunoaște conceptele , entitățile și relațiile ontologiilor utilizate în text, care vor fi structurate într-o ontologie după proces. Astfel, ontologiile de intrare formează un model al informațiilor recuperate.

Învățarea ontologiei

Învățarea ontologiei (OL) este crearea  automată sau semi-automată de ontologii, inclusiv extragerea termenilor relevanți din domeniul obiectului din textul limbajului natural. Deoarece construirea manuală a ontologiilor necesită o forță de muncă extrem de mare și consumatoare de timp, există un stimulent puternic pentru automatizarea procesului.

Adnotare semantică

În timpul adnotării semantice ( SA ) [14] , textul în limbaj natural este însoțit de metadate (deseori reprezentate în RDF  [ , Resource Description Framework in Attributes ) care ar trebui să facă semantica elementelor conținute ușor de înțeles de către mașini . În acest proces, care este de obicei semi-automat, cunoștințele sunt recuperate în sensul că se stabilește o legătură între elementele lexicale și, de exemplu, conceptele din ontologii. Astfel, obținem cunoștințe care dezvăluie semnificația entității în contextul în curs de prelucrare și, prin urmare, determină sensul textului în informațiile percepute de mașină cu capacitatea de a trage concluzii logice. Adnotarea semantică este de obicei împărțită în următoarele două subsarcini.  

1. Extragerea terminologiei
2. Conectarea entităților numite

La nivelul extragerii terminologiei, termenii lexicali sunt extrasi din text. În acest scop, analizatorul lexical determină mai întâi limitele cuvintelor și extrage abrevieri. Termenii care se potrivesc conceptelor sunt apoi extrași din text folosind un vocabular specific domeniului pentru legarea entităților.

Când se leagă entități [15] , se stabilește o legătură între membrii lexicali extrași din textul sursă și concepte dintr-o ontologie sau bază de cunoștințe, cum ar fi DBpedia . Pentru a face acest lucru, conceptele candidate sunt identificate în funcție de anumite valori ale elementelor folosind un dicționar. În cele din urmă, contextul termenilor este analizat pentru a determina dezambiguizarea cea mai adecvată și conceptul corect este atribuit termenului.

Mijloace

Următoarele criterii pot fi utilizate pentru a clasifica instrumentele care extrag cunoștințe din textele în limbaj natural.

Următorul tabel descrie unele dintre instrumentele pentru extragerea cunoștințelor din sursele limbajului natural.

Descoperirea cunoștințelor

Descoperirea cunoștințelor descrie procesul de căutare automată a unor cantități mari de date pentru modele care pot fi considerate cunoștințe despre date [33] . Acest lucru este adesea descris ca extragerea de cunoștințe din input . Descoperirea cunoștințelor este dezvoltată pentru analiza datelor și este strâns legată atât de metodologie, cât și de terminologie [34] .

Cea mai cunoscută ramură a exploatării datelor  este descoperirea cunoștințelor, cunoscută și sub numele de descoperire a cunoștințelor în baze de date . La fel ca multe alte forme de descoperire a cunoștințelor, această analiză creează abstracții ale datelor de intrare. Cunoștințele dobândite în urma acestui proces pot deveni date suplimentare care pot fi utilizate pentru utilizare și căutări ulterioare. Adesea rezultatul unui proces de descoperire a cunoștințelor nu are valoare practică, astfel încât descoperirea activă a cunoștințelor , cunoscută și sub denumirea de „ Analiza datelor de domeniu ” [35] , este concepută pentru a descoperi și extrage (de importanță practică) cunoștințe active și concluzii din aceste cunoștințe.

O altă aplicație promițătoare a descoperirii cunoștințelor este în domeniul modernizării software al detectării punctelor slabe și al respectării standardelor, care implică înțelegerea software-ului existent. Acest proces este legat de conceptul de inginerie inversă . De obicei, cunoștințele dobândite din software-ul existent sunt prezentate sub formă de modele pe care se pot face interogări specifice, dacă este necesar. Modelul entitate-relație este un format comun care reprezintă cunoștințe și este derivat din software-ul existent. Consorțiul Object Management Group a dezvoltat o specificație pentru Knowledge Discovery Metamodel ( KDM), care definește o ontologie pentru resursele software și relațiile lor, concepută pentru a descoperi cunoștințele în codul existent. Descoperirea cunoștințelor din sistemele software cunoscute, cunoscută și sub numele de software mining , este strâns legată de data mining , deoarece descoperirile de software existente sunt de mare importanță pentru managementul riscului și valoarea comercială , care servesc ca elemente cheie pentru analiză. și sisteme software de dezvoltare. În loc să analizeze seturi de date individuale , software mining se concentrează pe metadate , cum ar fi fluxul de producție (de exemplu, fluxul de date, fluxul de control, modelul de apel), arhitectura, schemele bazei de date și regulile/termenii/procesele de afaceri.  

Introducerea datelor

• Bază de date
  • Date relaționale
  • Bază de date
  • Depozitarea documentelor
  • Magazin de date
• Software
  • Sursă
  • Fișiere de configurare
  • Scripturi de asamblare
• Text
  • Concept Extraction
• Grafice
  • Analiza inteligentă a moleculelor
• secvențe
  • Exploatarea fluxului de date
  • Concept Drift
• Web

Formate de ieșire

• Model de date
• metadate
• Metamodele
• Ontologie
• Reprezentarea cunoștințelor
• Etichetă (metadate)
• Reguli de afaceri
• Metamodelul descoperirii cunoștințelor
• Notație și model de proces de afaceri
• Reprezentare intermediară
• Mediul de descriere a resurselor
• Metrici software

Vezi și

• analiza grupului
• Arheologia datelor

Note

1. ↑ Grupul de lucru RDB2RDF, site-ul web: http://www.w3.org/2001/sw/rdb2rdf/ , charter: http://www.w3.org/2009/08/rdb2rdf-charter , R2RML: Maparea RDB la RDF Limba: http://www.w3.org/TR/r2rml/
2. ↑ LOD2 EU  (link indisponibil) Livrabil 3.1.1 Extragerea de cunoștințe din surse structurate
3. ↑ Calais Release 4, 2009 .
4. ↑ 1 2 Berners-Lee, 1998 .
5. ↑ Hu, Qu, 2007 , p. 225-238.
6. ↑ Ghawi, Cullot, 2007 .
7. ↑ Li, Du, Wang, 2005 , p. 209-220.
8. ↑ Tirmizi, Miranker, Sequeda, 2008 .
9. ↑ Cerbah, 2008 .
10. ↑ RDQL = RDF Query Language
11. ↑ 1 2 Wimalasuriya, Dou, 2010 , p. 306 - 323.
12. ↑ A nu se confunda cu MS IE = Microsoft Internet Explorer!
13. ↑ Cunningham, 2005 , p. 665–677.
14. ↑ Erdmann, Maedche, Schnurr, Staab, 2000 .
15. ↑ Rao, McNamee, Dredze, 2011 , p. 93-115.
16. ↑ Rocket Software Inc. (2012). „tehnologie pentru extragerea inteligenței din text”
17. ↑ Orchestral8 (2012): „AlchemyAPI Overview”
18. ↑ Universitatea din Sheffield (2011). „ANNIE: un sistem de extragere a informațiilor aproape nou”
19. ↑ Mendes, Jakob, Garcia-Sílva, Bizer, 2011 , p. optsprezece.
20. ↑ Gangemi, Presutti, Recupero et al., 2016 .
21. ↑ Adrian, Maus, Dengel, 2009 .
22. ↑ SRA International Inc. (2012). Extractor NetOwl
23. ↑ Fortuna, Grobelnik, Mladenic, 2007 , p. 309–318.
24. ↑ Missikoff, Navigli, Velardi, 2002 , p. 60-63.
25. ↑ McDowell, Caferella, 2006 , p. 428 - 444.
26. ↑ Yildiz, Miksch, 2007 , p. 660 - 673.
27. ↑ Dill, Eiron, Gibson et al., 2003 , p. 178 - 186.
28. ↑ Uren, Cimiano, Iria et al., 2006 , p. 14 - 28.
29. ↑ Cimiano, Völker, 2005 .
30. ↑ Maedche, Volz, 2001 .
31. ↑ Conectarea mașinii. „Ne conectăm la cloud-ul Linked Open Data”
32. ↑ Inxight ThingFinder și ThingFinder Professional (link în jos) . Inxight Federal Systems (2008). Consultat la 18 iunie 2012. Arhivat din original pe 29 iunie 2012. (nedefinit) 
33. ↑ Frawley, Piatetsky-Shapiro, Matheus, 1992 , p. 57-70.
34. ↑ Fayyad, Piatetsky-Shapiro, Smyth, 1996 , p. 37-54.
35. ↑ Cao, 2010 , p. 755–769.

Literatură

• Cao L. Exploatarea datelor determinată de domenii: provocări și perspective // ​​IEEE Trans. pe Ingineria cunoștințelor și a datelor. - 2010. - T. 22 , nr. 6 . - doi : 10.1109/tkde.2010.32 .
• Viața în Linked Data Cloud  // www.opencalais.com. - 2009. Arhivat la 24 noiembrie 2009. Fragment: Wikipedia are o contrapartidă numită DBpedia. DBpedia are aceleași informații structurate ca și Wikipedia, dar convertite într-un format care poate fi citit de mașină.
• Benjamin Adrian, Heiko Maus, Andreas Dengel. iDocument: Utilizarea ontologiilor pentru extragerea de informații din text. — 2009.
• William J. Frawley, Gregory Piatetsky-Shapiro, Christopher J. Matheus. Descoperirea cunoștințelor în baze de date: o prezentare generală  // AI Magazine. - 1992. - T. 13 , nr 3 . - S. 57-70 . Arhivat din original pe 4 martie 2016.
• Usama M. Fayyad, Gregory Piatetsky-Shapiro, Padhraic Smyth. De la data mining la descoperirea cunoștințelor în baze de date  // AI Magazine. - 1996. - T. 17 , nr 3 . - S. 37-54 . Arhivat din original pe 4 mai 2016.
• Tim Berners Lee. Baze de date relaționale pe Web-ul semantic . — 1998.
• Farid Cerbah. Învățarea arhivelor semantice înalt structurate din baze de date relaționale // Web-ul semantic: cercetare și aplicații . - Berlin / Heidelberg: Springer, 2008. - T. 5021. - (Lecture Notes in Computer Science). Arhivat pe 20 iulie 2011 la Wayback Machine
• Syed Hamid Tirmizi, Daniel P. Miranker, Juan Sequeda. Traducerea aplicațiilor SQL în Web-ul semantic // Bază de date și aplicații Expert Systems . - 2008. - T. 5181/2008. — (Note de curs în Informatică).
• Wei Hu, Yuzhong Q. Descoperirea mapărilor simple între scheme de baze de date relaționale și ontologii // Proc. a 6-a Conferință Internațională de Web Semantic (ISWC 2007), a 2-a Conferință Asiatică de Web Semantic (ASWC 2007) . - Busan, Coreea, 11-15 noiembrie 2007, 2007. - T. 4825. - S. 225-238. — (Note de curs în Informatică).
• Ghawi R., Cullot N. Database-to-Ontology Mapping Generation for Semantic Interoperability // Al treilea workshop internațional privind interoperabilitatea bazelor de date (InterDB 2007). . — 2007.
• Man Li, Xiaoyong Du, Shan Wang. O metodă semi-automată de achiziție a ontologiei pentru web-ul semantic // WAIM. - Springer, 2005. - T. 3739. - S. 209-220. — (Note de curs în Informatică). - doi : 10.1007/11563952_19 .
• Aldo Gangemi, Valentina Presutti, Diego Reforgiato Recupero, Andrea Giovanni Nuzzolese, Francesco Draicchio, Misael Mongiovì. Semantic Web Machine Reading cu FRED // Semantic Web Journal. - 2016. - doi : 10.3233/SW-160240 .
• Philipp Cimiano, Johanna Volker. Text2Onto - Un cadru pentru învățarea ontologiei și descoperirea schimbărilor determinate de date // Proceedings of the 10th International Conference of Applications of Natural Language to Information Systems. - 2005. - T. 3513. - S. 227 - 238.
• Hamish Cunningham. Extragerea informațiilor, automată // Enciclopedia de limbă și lingvistică . - 2005. - S. 665 - 677.
• Stephen Dill, Nadav Eiron, David Gibson, Daniel Gruhl, R. Guha, Anant Jhingran, Tapas Kanungo, Sridhar Rajagopalan, Andrew Tomkins, John A. Tomlin, Jason Y. Zien. SemTag and Seeker: Bootstraping the Semantic Web via Automated Semantic Annotation // Proceedings of the 12th international Conference on World Wide Web . - 2003. - S. 178 - 186.
• Erdmann M., Maedche A., Schnurr H.-P., Staab S. De la manual la adnotarea semantică semi-automată: despre instrumentele de adnotare a textului bazate pe ontologie // Proceedings of the COLING. — 2000.
• Blaz Fortuna, Marko Grobelnik, Dunja Mladenic. OntoGen: Semi-automatic Ontology Editor // Proceedings of the 2007 Conference on Human interface, Part 2 . - 2007. - S. 309 - 318.
• Alexander Maedche, Raphael Volz. Cadrul de extracție și întreținere ontologiei Text-To-Onto // Proceedings of the IEEE International Conference on Data Mining . — 2001.
• Luke K. McDowell, Michael Cafarella. Extragerea informațiilor bazată pe ontologie cu OntoSyphon // Proceedings of the 5th international Conference on The Semantic Web . - 2006. - S. 428 - 444.
• Pablo N. Mendes, Max Jakob, Andrés Garcia-Sílva, Christian Bizer. DBpedia Spotlight: Shedding Light on the Web of Documents // Proceedings of the 7th International Conference on Semantic Systems . - 2011. - S. 1 - 8. Copie de arhivă din 5 aprilie 2012 la Wayback Machine
• Michele Missikoff, Roberto Navigli, Paola Velardi. Abordare integrată a învățării și ingineriei ontologiei web  // Computer. - 2002. - T. 35 , nr. 11 . - S. 60 - 63 .
• Delip Rao, Paul McNamee, Mark Dredze. Conectarea entităților: Găsirea entităților extrase într-o bază de cunoștințe // Extragerea și rezumarea informațiilor în mai multe surse, în mai multe limbi . — 2011.  (link inaccesibil)
• Victoria Uren, Philipp Cimiano, José Iria, Siegfried Handschuh, Maria Vargas-Vera, Enrico Motta, Fabio Ciravegna. Adnotare semantică pentru managementul cunoștințelor: cerințe și un studiu al stadiului tehnicii  // Web Semantics: Science, Services and Agents on the World Wide Web. - 2006. - V. 4 , nr. 1 . - S. 14 - 28 .  (link indisponibil)
• Daya C. Wimalasuriya, Dejing Dou. Extragerea de informații bazată pe ontologie: o introducere și o cercetare a abordărilor actuale  // Journal of Information Science. - 2010. - T. 36 , nr. 3 . - S. 306 - 323 .
• Burcu Yildiz, Silvia Miksch. ontoX - A Method for Ontology-Driven Information Extraction // Proceedings of the 2007 international Conference on Computational Science and its applications . - 2007. - T. 3. - S. 660 - 673.