Ansamblu de metode (învățare automată)

Un ansamblu de metode în statistică și învățare automată utilizează mai mulți algoritmi antrenați pentru a obține o performanță predictivă mai bună decât ar putea fi obținută din fiecare algoritm de antrenament separat [1] [2] [3] . Spre deosebire de ansamblul statistic din mecanica statistică, care este de obicei infinit, ansamblul de metode din învățarea automată constă dintr-un set finit specific de modele alternative, dar permite de obicei să existe structuri mult mai flexibile.

Prezentare generală

Algoritmii de învățare supravegheată sunt cel mai adesea descriși ca soluționând problema găsirii unei ipoteze potrivite în spațiul ipotezelor - una care face predicții bune pentru o anumită problemă. Dar găsirea unei ipoteze bune poate fi o sarcină dificilă. Un ansamblu de metode folosește o combinație de mai multe ipoteze în speranța că va fi mai bună decât ipotezele singure. Termenul de ansamblu este de obicei rezervat metodelor care generează mai multe ipoteze cu același profesor de bază.[ ce? ] . Noțiunea mai largă de sistem de clasificare multiplă folosește și ipoteze multiple, dar nu generate de același profesor. .

Calcularea unei predicții de ansamblu necesită de obicei mai multe calcule decât prezicerea unui singur model, astfel încât ansamblurile pot fi văzute ca o modalitate de a compensa un algoritm de învățare slab cu calcule suplimentare. Metodele de ansamblu folosesc de obicei algoritmi rapizi, cum ar fi arbori de decizie (de exemplu , păduri aleatorii ), deși algoritmii lenți pot beneficia și de tehnicile de construire a ansamblurilor.

Prin analogie, tehnica de asamblare a ansamblului este folosită și în scenarii de învățare nesupravegheată , cum ar fi gruparea consensului detectarea anomaliilor .

Teoria ansamblului

Ansamblul în sine este un algoritm de învățare supravegheat, deoarece poate fi antrenat și apoi utilizat pentru a face o predicție. Ansamblul antrenat, prin urmare, reprezintă o ipoteză. Această ipoteză nu se află însă neapărat în spațiul ipotezelor modelelor din care este construită. Astfel, ansamblurile pot avea multă flexibilitate în funcțiile pe care le pot reprezenta. Această flexibilitate îi poate determina, teoretic, să supraadapteze datele de antrenament mai repede decât ar putea face un singur model, dar, în practică, unele tehnici de construire a ansamblului (în special bagajul ) tind să reducă problemele asociate cu supraadaptarea datelor de antrenament.

Din punct de vedere empiric, ansamblurile tind să performeze mai bine dacă există o diferență semnificativă între modele [4] [5] . Multe ansambluri de metode caută, așadar, să crească diferența dintre modelele pe care le combină [6] [7] . Deși poate nu sunt intuitivi, mai mulți algoritmi aleatori (cum ar fi arborii de decizie aleatoriu) pot fi utilizați pentru a produce ansambluri mai strânse decât algoritmii bine gândiți (cum ar fi arborii de decizie de reducere a entropiei) [8] . Utilizarea diferiților algoritmi de învățare riguroși, totuși, s-a dovedit a fi mai eficientă decât utilizarea tehnicilor care încearcă să simplifice modelele pentru a oferi o distincție mai mare [9] .

Dimensiunea ansamblului

În timp ce numărul de clasificatori dintr-un ansamblu are un impact mare asupra acurateței predicției, există doar un număr limitat de lucrări care investighează această problemă. Determinarea a priori a mărimii ansamblului și a vitezei fluxurilor mari de date face ca acest factor să fie și mai critic pentru ansamblurile online de clasificatoare. Cele mai multe dintre testele statistice au fost utilizate pentru a determina numărul adecvat de componente. Mai recent, un cadru teoretic a dat naștere la presupunerea că într-un ansamblu există un număr ideal de clasificatori, astfel încât numărul de clasificatori mai mare sau mai mic decât acest număr ideal duce la o deteriorare a preciziei. Aceasta se numește „legea randamentului descrescător în construcția ansamblului”. Acest cadru teoretic arată că utilizarea unui număr de clasificatori independenți egal cu numărul de etichete de clasă oferă cea mai mare acuratețe [10] [11] .

Tipuri de ansamblu utilizate frecvent

Clasificator optim bayesian

Clasificatorul optim bayesian este o tehnică de clasificare. Este ansamblul tuturor ipotezelor din spațiul ipotezelor. În medie, niciunul dintre ansambluri nu o poate depăși [12] . Clasificatorul optim bayesian simplu este o versiune care presupune că datele sunt independente condiționat de clasă și efectuează calcule în timp mai real. Fiecărei ipoteze i se acordă un vot proporțional cu probabilitatea ca datele de antrenament să fie selectate din sistem dacă ipoteza ar fi adevărată. Pentru a obține date de antrenament de dimensiune finită, votul fiecărei ipoteze este înmulțit cu probabilitatea anterioară a acelei ipoteze. Clasificatorul optim bayesian poate fi exprimat prin următoarea egalitate:

,

unde clasa prezisă, este mulțimea tuturor claselor posibile, este clasa ipotezelor, se referă la probabilitate și reprezintă datele de antrenament. Ca ansamblu, clasificatorul optim bayesian reprezintă o ipoteză care nu aparține neapărat lui . Ipoteza reprezentată de clasificatorul optim bayesian este însă ipoteza optimă în spațiul ansamblurilor (spațiul tuturor ansamblurilor posibile constând doar din ipoteze spațiale ).

Formula poate fi rescrisă folosind teorema lui Bayes , care spune că probabilitatea posterioară este proporțională cu probabilitatea anterioară:

Unde

Bagare

Agregarea bootstrap, adesea scurtată la bagging , conferă fiecărui model din ansamblu aceeași greutate (voce). Pentru a menține varianța, bagajul antrenează fiecare model din ansamblu cu un subset selectat aleatoriu al setului de antrenament. De exemplu, algoritmul de pădure aleatoare combină arbori de decizie aleatoriu cu bagajul pentru a obține o precizie ridicată de clasificare [13] .

Boosting

Boosting construiește ansamblul în trepte succesive prin antrenarea fiecărui model nou pentru a evidenția cazurile de antrenament pe care modelele anterioare le-au clasificat greșit. În unele cazuri, s-a dovedit că stimularea dă rezultate mai bune decât punerea în pungă, dar tinde să se adapteze prea mult la datele de antrenament. Cea mai comună implementare a amplificarii este algoritmul AdaBoost , deși s-a afirmat că unii algoritmi mai noi dau rezultate mai bune.

Media bayesiană

Media parametrilor bayesian (BPA) este o  tehnică de construire a ansamblului care încearcă să aproximeze un clasificator optim bayesian prin eșantionare din spațiul ipotezelor și combinându-le folosind Legea lui Bayes [14] . Spre deosebire de clasificatorul optim bayesian, modelul de mediere bayesian poate fi implementat practic. Ipotezele sunt de obicei selectate folosind o tehnică Monte Carlo , cum ar fi MCMC . De exemplu, eșantionarea Gibbs poate fi utilizată pentru a eșantiona ipotezele care reprezintă o distribuție . S-a demonstrat că în anumite circumstanțe, dacă ipotezele sunt alese în acest fel și mediate conform legii lui Bayes, această tehnică are o eroare așteptată care este limitată la dublul erorii așteptate a clasificatorului optim bayesian [15] . În ciuda corectitudinii teoretice a acestei tehnici, în lucrările timpurii, bazate pe date experimentale, s-a sugerat că metoda este predispusă la supraadaptare și se comportă mai rău decât tehnicile simple de asamblare a ansamblului, cum ar fi însacarea [16] . Cu toate acestea, aceste concluzii s-au bazat pe o înțelegere greșită a scopului modelului Bayesian de mediere pentru o combinație de modele [17] . În plus, există avantaje semnificative în teoria și practica BMA. Dovezile riguroase recente arată acuratețea BMA pentru selecția și estimarea variabilelor în condiții multivariate [18] și furnizează dovezi empirice pentru rolul esențial de furnizare a rarității în BMA în atenuarea supraajustării [19] .

O combinație de modele bayesiene

Combinația de model bayesian (BMC) este o corecție algoritmică a mediei modelului bayesian ( BMA ) .  În loc să selecteze fiecare model din ansamblu individual, algoritmul selectează din spațiul ansamblurilor posibile (cu ponderi ale modelului alese aleatoriu dintr-o distribuție Dirichlet cu parametri uniformi). Această modificare evită tendința BMU de a da toată greutatea unui model. Deși CBM este oarecum mai risipitor din punct de vedere computațional decât MBM, oferă rezultate semnificativ mai bune. Rezultatele BMS s-au dovedit a fi mai bune în medie decât BMS și bagajul [20] .  

Utilizarea legii lui Bayes pentru a calcula ponderile modelului implică inevitabil calcularea probabilității datelor pentru fiecare model. De obicei, niciunul dintre modelele dintr-un ansamblu nu are exact aceeași distribuție ca și datele de antrenament din care au fost generate, astfel încât toți termenii primesc corect o valoare apropiată de zero. Acest lucru ar funcționa bine dacă ansamblul ar fi suficient de mare pentru a eșantiona din spațiul complet al modelului, dar acest lucru este rareori posibil. Prin urmare, fiecare membru al setului de antrenament face ca greutatea ansamblului să se deplaseze către modelul din ansamblu care este cel mai apropiat de distribuția datelor de antrenament. Acest lucru reduce substanțial necesitatea unei metode de selecție a modelului prea complexă.

Greutățile posibile pentru ansamblu pot fi reprezentate ca fiind situate pe simplex. La fiecare vârf al simplexului, toate ponderile sunt date de un model de ansamblu separat. BMA converge către un vârf care este mai aproape în distribuție de datele de antrenament. În schimb, KBM converge până la punctul în care această distribuție se proiectează în simplex. Cu alte cuvinte, în loc să aleagă un model care este cel mai apropiat de distribuție, metoda caută combinația de modele care este cea mai apropiată de distribuție.

Rezultatele BMA pot fi adesea aproximate folosind validarea încrucișată pentru a selecta un model dintr-un grup de modele. În mod similar, rezultatele KBM pot fi aproximate prin validare încrucișată pentru a selecta cea mai bună combinație de ansambluri dintr-un eșantion aleatoriu de ponderi posibile.

Model Bucket

Bucket of models este o  tehnică de construire a ansamblului care utilizează un algoritm de selecție a modelului pentru a obține cel mai bun model pentru fiecare problemă. Când este testată o singură sarcină, găleata de modele poate să nu funcționeze mai bine decât cel mai bun model din set, cu toate acestea, în cazul rulării pentru mai multe sarcini, algoritmul dă de obicei rezultate mai bune decât orice model din set.

Cea mai comună abordare utilizată pentru selecția modelului este eșantionarea încrucișată . Este descris de următorul pseudocod:

Pentru fiecare model din găleată: Executați c ori: (unde „c” este o constantă) Împărțim aleatoriu datele de antrenament în două seturi: A și B. Antrenează-m pe A Verificarea m față de B Alegeți modelul care va afișa cel mai mare rezultat mediu

Eșantionarea încrucișată poate fi descrisă ca: „rulați totul pe setul de antrenament și alegeți-l pe cel care funcționează cel mai bine” [21] .

Gatingul este o  generalizare a eșantionării încrucișate. Metoda implică antrenarea unui model de învățare diferit pentru a decide care dintre modelele din găleată este cel mai bun pentru rezolvarea problemei. Adesea, un perceptron este folosit pentru a izola modelul . Poate fi folosit pentru a selecta „cel mai bun” model sau poate fi folosit pentru a obține o greutate liniară pentru predicțiile de la fiecare model din găleată.

Atunci când o găleată de model este utilizată cu un set mare de sarcini, poate fi de dorit să evitați antrenamentul unor modele care necesită un timp lung de antrenament. Învățarea Landmark este o abordare de meta-învățare care urmărește să rezolve această problemă. Antrenează doar algoritmi rapizi (dar inexacți), apoi folosește performanța acestor algoritmi pentru a determina pe care dintre algoritmii lenți (dar precisi) să aleagă ca fiind cel mai bun [22] .

Stivuire

Stivuirea (uneori numită generalizare a stivei ) implică antrenarea unui algoritm de învățare pentru a combina predicțiile altor mai mulți algoritmi de învățare. În primul rând, toți ceilalți algoritmi sunt antrenați cu date valide, apoi algoritmii de combinare sunt antrenați pentru a face o predicție finală cu predicțiile tuturor celorlalți algoritmi ca intrare suplimentară. Dacă se folosește un algoritm de combinare arbitrar, atunci stivuirea poate reprezenta teoretic oricare dintre tehnicile de ansamblu descrise în acest articol, deși, în practică, un model de regresie logistică este adesea folosit ca instrument pentru algoritmul de combinare.

Stivuirea produce în general o performanță mai bună decât oricare dintre modelele de antrenament singure [23] . A fost utilizat cu succes atât în ​​probleme de învățare supervizată (regresie [24] , clasificare și învățământ la distanță [25] ), cât și în probleme de învățare nesupravegheată (estimarea densității) [26] . De asemenea, a fost folosit pentru estimarea erorii de ambalare [3] [27] . Sa pretins că metoda depășește modelul Bayesian de mediere [28] . Cei doi câștigători ai competiției Netflix folosesc blending , care poate fi considerat o formă de stivuire [29] .

Implementarea în pachete statistice

Aplicații de învățare ansamblu

În ultimii ani, datorită puterii de calcul în creștere care permite antrenarea unor ansambluri mari de antrenament într-un timp rezonabil, numărul aplicațiilor a crescut rapid [35] . Unele dintre aplicațiile ansamblurilor clasificatoare sunt prezentate mai jos.

Teledetecția Pământului

Reflecția vegetației

Reflexia vegetației este una dintre principalele aplicații ale observației Pământului , folosind teledetecție și date geografice pentru a recunoaște obiectele care sunt situate pe suprafața zonelor țintă. De obicei, clasele de materiale țintă includ drumuri, clădiri, râuri, lacuri și vegetație [36] . Au fost propuse câteva abordări diferite pentru antrenarea ansamblurilor bazate pe rețele neuronale artificiale [37] , analiza componentelor principale ale nucleului ( KPCA ) [38] , arbori de decizie amplificați [ 39] , păduri aleatorii [36 ] și crearea automată a mai multor clasificatori sisteme [40] pentru recunoașterea eficientă a obiectelor acoperirii vegetației .  

Detectarea modificării

Detectarea schimbărilor este o sarcină de analiză a imaginii care constă în identificarea locațiilor în care acoperirea vegetației s-a schimbat în timp. Detectarea schimbărilor este utilizată pe scară largă în zone precum creșterea urbană , dinamica schimbării pădurilor și vegetației , utilizarea terenurilor și detectarea dezastrelor naturale [41] . Aplicațiile timpurii ale ansamblurilor de clasificatoare în determinarea schimbării au fost dezvoltate folosind votul majoritar , media bayesiană și estimarea maximă posterior [42] .

Protecția computerului

Atacul DoS

Un atac de denial of service distribuit este unul dintre cele mai amenințătoare atacuri cibernetice care se pot întâmpla unui ISP [35] . Prin combinarea rezultatelor clasificatoarelor individuale, un ansamblu de clasificatoare reduce eroarea generală în detectarea și separarea unor astfel de atacuri de flash mob-urile legitime [43] .

Detectarea programelor malware

Clasificarea codurilor malware , cum ar fi viruși de computer , viermi , troieni , ransomware și spyware , folosind tehnici de învățare automată , este inspirată de sarcina de categorizare a documentelor [44] . Sistemele de învățare ansamblu au demonstrat performanțe robuste în acest domeniu [45] [46] .

Detectarea intruziunilor

Un sistem de detectare a intruziunilor urmărește o rețea de computere sau computere pentru a identifica codurile de intruziune, similar unui proces de detectare a anomaliilor . Antrenamentul ansamblului a avut succes în a ajuta astfel de sisteme să reducă numărul total de erori [47] [48] .

Recunoaștere facială

Recunoașterea facială , care a devenit recent cel mai popular domeniu de cercetare în recunoașterea modelelor , se ocupă cu identificarea sau verificarea unei persoane din imaginea sa digitală [49] .

Ansamblurile ierarhice bazate pe clasificatorul Gabor Fischer și tehnicile de preprocesare a datelor în analiza componentelor independente sunt câteva ansambluri timpurii utilizate în acest domeniu [50] [51] [52] .

Recunoașterea emoțiilor

În timp ce recunoașterea vorbirii se bazează în principal pe învățarea profundă , deoarece majoritatea jucătorilor din industrie din acest domeniu, cum ar fi Google , Microsoft și IBM , o folosesc ca bază a tehnologiei de recunoaștere a vorbirii , recunoașterea emoțiilor bazată pe conversație [ poate funcționa satisfăcător. 53] [54] .

Metoda a fost folosită cu succes și în recunoașterea emoțiilor faciale [55] [56] [57] .

Detectarea fraudei

Detectarea fraudei se ocupă de identificarea fraudelor bancare , cum ar fi spălarea banilor , frauda cu carduri de plată și frauda în telecomunicații. Detectarea fraudelor are un domeniu amplu de cercetare și aplicare a învățării automate . Deoarece învățarea ansamblului îmbunătățește robustețea comportamentului normal de simulare, a fost propusă ca o tehnică eficientă pentru detectarea unor astfel de cazuri de fraudă și activitate bancară suspectă în sistemele de carduri de credit [58] [59] .

Luarea deciziilor financiare

Acuratețea prezicerii eșecului comercial este o problemă critică în luarea deciziilor financiare, așa că au fost propuse diverse ansambluri de clasificatoare pentru a prezice crizele financiare și colapsurile financiare [60] . De asemenea, în problema manipulării bazate pe oferte , în care comercianții încearcă să manipuleze prețurile acțiunilor prin cumpărare sau vânzare, este necesar un ansamblu de clasificatori pentru a analiza schimbările în datele pieței bursiere și pentru a identifica simptomele manipulării suspecte a prețului acțiunilor [60] .

Medicina

Sistemul de clasificare a fost aplicat cu succes în neuroștiințe , proteomică și diagnosticare medicală , cum ar fi recunoașterea tulburărilor neurocognitive (adică boala Alzheimer sau distrofia miotonică ) pe baza datelor imagistice prin rezonanță magnetică [61] [62] [63] sau clasificarea citologiei cervicale pe baza microscopiei [64] [65] .

Vezi și

  • Media ansamblului (învățare automată)
  • Seria temporală Bayesian Structural (BSTS)

Note

  1. ↑ Opitz, Maclin, 1999 , p. 169-198.
  2. ↑ Polikar, 2006 , p. 21-45.
  3. ↑ 1 2 Rokach, 2010 , p. 1-39.
  4. ↑ Kuncheva, Whitaker, 2003 , p. 181-207.
  5. ↑ Sollich și Krogh 1996 , p. 190-196, 1996.
  6. ↑ Brown, Wyatt, Harris, Yao, 2005 , p. 5-20.
  7. ↑ Adeva, Cerviño, Calvo, 2005 .
  8. ↑ Ho, 1995 , p. 278-282.
  9. ↑ Gashler, Giraud-Carrier, Martinez, 2008 , p. 900-905.
  10. ↑ Bonab, Can, 2016 , p. 2053.
  11. ↑ Bonab, Can, 2017 .
  12. ↑ Mitchell, 1997 , p. 175.
  13. ↑ Breiman, 1996 , p. 123-140.
  14. ↑ Hoeting, Madigan, Raftery, Volinsky, 1999 , p. 382–401.
  15. ↑ Haussler, Kearns, Schapire, 1994 , p. 83–113.
  16. ↑ Domingos, 2000 , p. 223–230.
  17. ↑ Minka, 2002 .
  18. ↑ Castillo, Schmidt-Hieber, van der Vaart, 2015 , p. 1986–2018
  19. ↑ Hernandez-Lobato, Hernandez-Lobato, Dupont, 2013 , p. 1891–1945
  20. ↑ Monteith, Carroll, Seppi, Martinez, 2011 , p. 2657-2663.
  21. ↑ Dzeroski, Zenko, 2004 , p. 255-273.
  22. ↑ Bensusan, Giraud-Carrier, 2000 , p. 325-330.
  23. ↑ Wolpert, 1992 , p. 241-259.
  24. ↑ Breiman, 1996 .
  25. ↑ Ozay, Vural, 2013 .
  26. ↑ Smyth, Wolpert, 1999 , p. 59-83.
  27. ↑ Wolpert, Macready, 1999 , p. 41-55.
  28. ↑ Clarke, 2003 , p. 683-712.
  29. ↑ Sill, Takacs, Mackey, Lin, 2009 .
  30. ↑ Amini, Parmeter, 2011 , p. 253–287.
  31. ↑ BMS: Bibliotecă Bayesian Model Averging . Rețeaua cuprinzătoare de arhive R. Preluat la 9 septembrie 2016. Arhivat din original la 28 noiembrie 2020.
  32. ↑ BAS: Bayesian Model Average using Bayesian Adaptive Sampling . Rețeaua cuprinzătoare de arhive R. Preluat la 9 septembrie 2016. Arhivat din original pe 7 octombrie 2020.
  33. ↑ BMA: Bayesian Model Averging . Rețeaua cuprinzătoare de arhive R. Preluat la 9 septembrie 2016. Arhivat din original pe 7 mai 2021.
  34. ↑ Ansambluri de clasificare . MATLAB și Simulink . Preluat la 8 iunie 2017. Arhivat din original la 1 decembrie 2020.
  35. ↑ 1 2 Woźniak, Graña, Corchado, 2014 , p. 3–17.
  36. ↑ 1 2 Rodriguez-Galiano, Ghimire, Rogan et al., 2012 , p. 93–104.
  37. ↑ Giacinto, Roli, 2001 , p. 699–707.
  38. ↑ Xia, Yokoya, Iwasaki, 2017 , p. 6185-6189.
  39. ↑ Mochizuki, Murakami, 2012 , p. 126-133.
  40. ↑ Giacinto, Roli, Fumera, 2000 , p. 160-163.
  41. ↑ Du, Liu, Xia, Zhao, 2013 , p. 19–27.
  42. ↑ Bruzzone, Cossu, Vernazza, 2002 , p. 289–297.
  43. ↑ Raj Kumar, Selvakumar, 2011 , p. 1328–1341.
  44. ↑ Shabtai, Moskovici, Elovici, Glezer, 2009 , p. 16–29.
  45. ↑ Zhang, Yin, Hao, Zhang, Wang, 2007 , p. 468-477.
  46. ↑ Menahem, Shabtai, Rokach, Elovici, 2009 , p. 1483–1494
  47. ↑ Locasto, Wang, Keromytis, Salvatore, 2005 , p. 82-101.
  48. ↑ Giacinto, Perdisci, Del Rio, Roli, 2008 , p. 69–82.
  49. ↑ Mu, Lu, Watta, Hassoun, 2009 .
  50. ↑ Yu, Shan, Chen, Gao, 2006 , p. 91-96.
  51. ↑ Yu, Shan, Chen, Gao, 2006 , p. 528-531.
  52. ↑ Liu, Lin, Chen, 2008 , p. 144-148.
  53. ↑ Rieger, Muraleedharan, Ramachandran, 2014 , p. 589-593.
  54. ↑ Krajewski, Batliner, Kessel, 2010 , p. 3716-3719.
  55. ↑ Rani, Muneeswaran, 2016 , p. 10017–10040.
  56. ↑ Rani, Muneeswaran, 2016 , p. 1655020.
  57. ↑ Rani, Muneeswaran, 2018 .
  58. ↑ Louzada, Ara, 2012 , p. 11583–11592.
  59. ↑ Sundarkumar, Ravi, 2015 , p. 368–377.
  60. ↑ 1 2 Kim și Sohn, 2012 , p. 8986–8992.
  61. ↑ Savio, García-Sebastián, Chyzyk et al., 2011 , p. 600–610.
  62. ↑ Ayerdi, Savio, Graña, 2013 , p. 122-130.
  63. ↑ Gu, Ding, Zhang, 2015 , p. 110–118.
  64. ↑ Dan Xue, Xiaomin Zhou, Chen Li, Yudong Yao, Md Mamunur Rahaman. O aplicație a învățării prin transfer și a tehnicilor de învățare prin ansamblu pentru clasificarea imaginilor histopatologice cervicale  // Acces IEEE. - 2020. - Or. 8 . — S. 104603–104618 . — ISSN 2169-3536 . - doi : 10.1109/ACCESS.2020.2999816 . Arhivat din original pe 31 august 2021.
  65. ↑ Ankur Manna, Rohit Kundu, Dmitrii Kaplun, Alexander Sinitca, Ram Sarkar. Un ansamblu neclar de modele CNN pentru clasificarea citologiei cervicale  //  Rapoarte științifice. — 2021-12. — Vol. 11 , iss. 1 . — P. 14538 . — ISSN 2045-2322 . - doi : 10.1038/s41598-021-93783-8 . Arhivat din original pe 31 august 2021.

Literatură

  • Opitz D., Maclin R. Metode populare de ansamblu: Un studiu empiric // Journal of Artificial Intelligence Research . - 1999. - T. 11 . - S. 169-198 . - doi : 10.1613/jair.614 .
  • Polikar R. Sisteme bazate pe ansamblu în luarea deciziilor // IEEE Circuits and Systems Magazine. - 2006. - T. 6 , nr. 3 . - S. 21-45 . - doi : 10.1109/MCAS.2006.1688199 .
  • Rokach L. Clasificatori bazați pe ansamblu // Artificial Intelligence Review. - 2010. - T. 33 , nr. 1-2 . - doi : 10.1007/s10462-009-9124-7 .
  • Kuncheva L., Whitaker C. Măsuri de diversitate în ansambluri de clasificatoare și relația lor cu acuratețea ansamblului // Învățare automată. - 2003. - T. 51 , nr. 2 .
  • Sollich P., Krogh A. Învățarea cu ansambluri: cum poate fi util supraajustarea // Advances in Neural Information Processing Systems. - 1996. - T. 8 .
  • Brown G., Wyatt J., Harris R., Yao X. Metode de creare a diversităţii: un sondaj şi categorizare // Fuziunea informaţiei. - 2005. - T. 6 , nr. 1 .
  • JJ Garcia Adeva, Ulises Cerviño, R. Calvo. Acuratețe și diversitate în ansambluri de categorii de text  // Jurnalul CLEI. - 2005. - Decembrie ( vol. 8 , numărul 2 ). Arhivat din original pe 7 iulie 2011.
  • Ho T. Random Decision Forests // Proceedings of the Third International Conference on Document Analysis and Recognition. — 1995.
  • Gashler M., Giraud-Carrier C., Martinez T. Decision Tree Ensemble: Small Heterogeneous Is Better Than Large Homogeneous // The Seventh International Conference on Machine Learning and Applications . - 2008. - doi : 10.1109/ICMLA.2008.154 .
  • Hamed R. Bonab, Fazli Can. Un cadru teoretic privind numărul ideal de clasificatori pentru ansambluri online în fluxuri de date // Conferința a 25-a privind managementul informațiilor și cunoștințelor . — SUA: ACM, 2016. — doi : 10.1145/2983323.2983907 .
  • Hamed R. Bonab, Fazli Can. Less Is More: A Comprehensive Framework for the Number of Components of Ensemble Clasificatori // IEEE Transactions on Neural Networks and Learning Systems 2017 . SUA: IEEE, 2017.
  • Tom M. Mitchell . învățare automată. - McGraw-Hill Science/Engineering/Math, 1997. - ISBN 0070428077 .
  • Breiman, L. Bagging Predictors // Machine Learning. - 1996. - T. 24 , nr. 2 .
  • Hoeting JA, Madigan D., Raftery AE, Volinsky CT Bayesian Model Average: A Tutorial // Statistical Science. - 1999. - T. 14 , nr. 4 . - doi : 10.2307/2676803 . — .
  • David Haussler, Michael Kearns, Robert E. Schapire. Se limitează la complexitatea eșantionului de învățare bayesiană folosind teoria informațiilor și dimensiunea VC // Învățare automată. - 1994. - T. 14 .
  • Pedro Domingos. Media bayesiană a clasificatorilor și problema supraajustării // Proceedings of the 17th International Conference on Machine Learning (ICML) . - 2000. - S. 223--230.
  • Thomas Minka. Media modelului bayesian nu este o combinație de modele . — 2002.
  • Castillo I., Schmidt-Hieber J., van der Vaart A. Regresia liniară bayesiană cu priori rare // Annals of Statistics . - 2015. - T. 43 , nr. 5 . - doi : 10.1214/15-AOS1334 . - arXiv : 1403.0735 .
  • Hernández-Lobato D., Hernández-Lobato JM, Dupont P. Generalized Spike-and-Slab Priors for Bayesian Group Feature Selection Using Expectation Propagation  // Journal of Machine Learning Research. - 2013. - T. 14 .
  • Transformarea mediei modelului bayesian în combinație de modele bayesian // Proceedings of the International Joint Conference on Neural Networks IJCNN'11 . - 2011. - S. 2657-2663.
  • Saso Dzeroski, Bernard Zenko. Combinarea clasificatorilor este mai bună decât selectarea celui mai bun  // Învățare automată. — 2004.
  • Hilan Bensusan, Christophe G. Giraud-Carrier. Discovering Task Neighborhoods Through Landmark Learning Performances // PKDD '00: Proceedings of the 4th European Conference on Principles of Data Mining and Knowledge Discovery. — Springer-Verlag, 2000.
  • Smyth P., Wolpert DH Combinarea liniară a estimatorilor de densitate prin stivuire // Jurnal de învățare automată. - 1999. - T. 36 .
  • Wolpert DH, Macready WG O metodă eficientă de estimare a erorii de generalizare a sacului // Jurnal de învățare automată. - 1999. - T. 35 .
  • Clarke B. Bayes medierea și stivuirea modelului atunci când eroarea de aproximare a modelului nu poate fi ignorată // Journal of Machine Learning Research. — 2003.
  • Wolpert D. Stacked Generalization // Rețele neuronale. - 1992. - V. 5 , nr. 2 .
  • Breiman L. Stacked Regression // Machine Learning. - 1996. - T. 24 . - doi : 10.1007/BF00117832 .
  • Ozay M., Yarman Vural FT O nouă tehnică de generalizare și analiza performanței sale. - 2013. - . - arXiv : 1204.0171 .
  • Sill J., Takacs G., Mackey L., Lin D. Feature-Weighted Linear Stacking. - 2009. - . - arXiv : 0911.0460 .
  • Shahram M. Amini, Christopher F. Parmeter. Media modelului bayesian în R  // Journal of Economic and Social Measurement. - 2011. - T. 36 , nr. 4 .
  • Michał Woźniak, Manuel Graña, Emilio Corchado. Un studiu asupra sistemelor multiple de clasificare ca sisteme hibride // Fuziunea informațiilor. - 2014. - Martie ( vol. 16 ). - doi : 10.1016/j.inffus.2013.04.006 .
  • Rodriguez-Galiano VF, Ghimire B., Rogan J., Chica-Olmo, M., Rigol-Sanchez JP O evaluare a eficacității unui clasificator de pădure aleatoriu pentru clasificarea acoperirii terenului // ISPRS Journal of Photogrammetry and Remote Sensing. - 2012. - T. 67 . - doi : 10.1016/j.isprsjprs.2011.11.002 . — Cod biblic .
  • Giorgio Giacinto, Fabio Roli. Proiectarea ansamblurilor de rețele neuronale eficiente pentru clasificarea imaginilor // Calcularea imaginii și a vederii. - 2001. - August ( vol. 19 , numărul 9-10 ). - doi : 10.1016/S0262-8856(01)00045-2 .
  • Junshi Xia, Naoto Yokoya, Yakira Iwasaki. Un nou clasificator de ansamblu de date hiperspectrale și LiDAR folosind caracteristici morfologice // 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). - 2017. - Martie. - doi : 10.1109/ICASSP.2017.7953345 .
  • Mochizuki S., Murakami T. Accuracy comparison of land cover mapping using the object-oriented image classification with machine learning algorithms // 33rd Asian Conference on Remote Sensing 2012, ACRS 2012. - 2012. - November ( vol. 1 ).
  • Giacinto G., Roli F., Fumera G. Design of effective multiple classifier systems by clustering of classifiers // Proceedings 15th International Conference on Pattern Recognition. ICPR-2000. - 2000. - Septembrie. - doi : 10.1109/ICPR.2000.906039 .
  • Peijun Du, Sicong Liu, Junshi Xia, Yindi Zhao. Tehnici de fuziune a informațiilor pentru detectarea schimbărilor din imagini cu teledetecție multitemporale // Fuziunea informațiilor. - 2013. - ianuarie ( vol. 14 , numărul 1 ). - doi : 10.1016/j.inffus.2012.05.003 .
  • Lorenzo Bruzzone, Roberto Cossu, Gianni Vernazza. Combinarea algoritmilor parametrici și neparametrici pentru o clasificare parțial nesupravegheată a imaginilor multitemporale cu teledetecție // Fuziunea informațiilor. - 2002. - Decembrie ( vol. 3 , numărul 4 ). - doi : 10.1016/S1566-2535(02)00091-X .
  • P. Arun Raj Kumar, S. Selvakumar. Detectarea atacurilor distribuite prin negarea serviciului utilizând un ansamblu de clasificator neuronal // Comunicații computerizate. - 2011. - iulie ( vol. 34 , numărul 11 ​​). - doi : 10.1016/j.comcom.2011.01.012 .
  • Asaf Shabtai, Robert Moskovitch, Yuval Elovici, Chanan Glezer. Detectarea codului rău intenționat prin aplicarea clasificatoarelor de învățare automată asupra caracteristicilor statice: Un sondaj de ultimă generație // Raport tehnic de securitate a informațiilor. - 2009. - Februarie ( vol. 14 , numărul 1 ). - doi : 10.1016/j.istr.2009.03.003 .
  • Boyun Zhang, Jianping Yin, Jingbo Hao, Dingxing Zhang, Shulin Wang. Detectarea codurilor rău intenționate pe baza învățării ansamblului // Calcul autonom și de încredere. - 2007. - doi : 10.1007/978-3-540-73547-2_48 .
  • Eitan Menahem, Asaf Shabtai, Lior Rokach, Yuval Elovici. Îmbunătățirea detectării programelor malware prin aplicarea unui ansamblu multi-inductor // Statistici computaționale și analiză a datelor. - 2009. - Februarie ( vol. 53 , numărul 4 ). - doi : 10.1016/j.csda.2008.10.015 .
  • Michael E. Locasto, Ke Wang, Angeles D. Keromytis, J. Stolfo Salvatore. FLIPS: Hybrid Adaptive Intrusion Prevention // Progrese recente în detectarea intruziunilor. - 2005. - doi : 10.1007/11663812_5 .
  • Giorgio Giacinto, Roberto Perdisci, Mauro Del Rio, Fabio Roli. Detectarea intruziunilor în rețelele de calculatoare printr-un ansamblu modular de clasificatoare de o singură clasă // Fuziunea informațiilor. - 2008. - ianuarie ( vol. 9 , numărul 1 ). - doi : 10.1016/j.inffus.2006.10.002 .
  • Xiaoyan Mu, Jiangfeng Lu, Paul Watta, Mohamad H. Hassoun. Clasificatoare de ansamblu ponderate bazate pe vot, cu aplicare la recunoașterea feței umane și la recunoașterea vocii // 2009 International Joint Conference on Neural Networks. - 2009. - iulie. - doi : 10.1109/IJCNN.2009.5178708 .
  • Su Yu, Shiguang Shan, Xilin Chen, Wen Gao. Ansamblul ierarhic al clasificatorului Gabor Fisher pentru recunoașterea feței // Recunoașterea automată a feței și gesturilor, 2006. FGR 2006. A 7-a Conferință Internațională privind recunoașterea automată a feței și gesturilor (FGR06). - 2006. - Aprilie. - doi : 10.1109/FGR.2006.64 .
  • Su Yu, Shiguang Shan, Xilin Chen, Wen Gao. Clasificator gabor Fisher bazat pe plasturi pentru recunoașterea feței // Proceedings - International Conference on Pattern Recognition. - 2006. - Septembrie ( vol. 2 ). - doi : 10.1109/ICPR.2006.917 .
  • Yang Liu, Yongzheng Lin, Yuehui Chen. Clasificarea ansamblului bazată pe ICA pentru recunoașterea facială  // Proceedings - 1st International Congress on Image and Signal Processing, IEEE Conference, CISP 2008. - 2008. - iulie. - doi : 10.1109/CISP.2008.581 .
  • Steven A. Rieger, Rajani Muraleedharan, Ravi P. Ramachandran. Recunoașterea emoțiilor bazată pe vorbire utilizând extragerea caracteristicilor spectrale și un ansamblu de clasificatori kNN // Proceedings of the 9th International Symposium on Chinese Spoken Language Processing, ISCSLP 2014. - 2014. - doi : 10.1109/ISCSLP.2014.6936711 .
  • Jarek Krajewski, Anton Batliner, Silke Kessel. Compararea mai multor clasificatori pentru detectarea încrederii în sine bazată pe vorbire - Un studiu pilot // A 20-a Conferință internațională privind recunoașterea modelelor. - 2010. - doi : 10.1109/ICPR.2010.905 .
  • P. Ithaya Rani, K. Muneeswaran. Recunoașteți emoția facială în secvențele video folosind funcțiile Gabor temporale pentru ochi și gură // Instrumente și aplicații multimedia. - 2016. - Mai ( vol. 76 , numărul 7 ). - doi : 10.1007/s11042-016-3592-y .
  • P. Ithaya Rani, K. Muneeswaran. Recunoașterea emoțiilor faciale bazată pe regiunile oculare și bucale // Jurnalul internațional de recunoaștere a modelelor și inteligență artificială. - 2016. - august ( vol. 30 , numărul 07 ). - doi : 10.1142/S021800141655020X .
  • P. Ithaya Rani, K. Muneeswaran. Recunoașterea emoțiilor bazată pe componente faciale // Sādhanā. - 2018. - Martie ( vol. 43 , numărul 3 ). - doi : 10.1007/s12046-018-0801-6 .
  • Francisco Louzada, Anderson Ara. Punerea în pungă a rețelelor probabilistice dependente de k: un instrument alternativ puternic de detectare a fraudei // Sisteme experte cu aplicații. - 2012. - octombrie ( vol. 39 , numărul 14 ). - doi : 10.1016/j.eswa.2012.04.024 .
  • G. Ganesh Sundarkumar, Vadlamani Ravi. O nouă metodă hibridă de subeșantionare pentru extragerea de seturi de date dezechilibrate în domeniul bancar și al asigurărilor // Engineering Applications of Artificial Intelligence. - 2015. - ianuarie ( vol. 37 ). - doi : 10.1016/j.engappai.2014.09.019 .
  • Yoonseong Kim, So Young Sohn. Detectarea fraudei în stoc folosind analiza grupului de egali // Sisteme experte cu aplicații. - 2012. - august ( vol. 39 , numărul 10 ). - doi : 10.1016/j.eswa.2012.02.025 .
  • Yoonseong Kim, So Young Sohn. Detectarea fraudei în stoc folosind analiza grupului de egali // Sisteme experte cu aplicații. - 2012. - august ( vol. 39 , numărul 10 ). - doi : 10.1016/j.eswa.2012.02.025 .
  • Savio A., García-Sebastián MT, Chyzyk D., Hernandez C., Graña M., Sistiaga A., López de Munain A., Villanúa J. Detectarea tulburărilor neurocognitive pe baza vectorilor caracteristici extrași din analiza VBM a RMN structural // Calculatoare în biologie și medicină. - 2011. - august ( vol. 41 , numărul 8 ). - doi : 10.1016/j.compbiomed.2011.05.010 .
  • Ayerdi B., Savio A., Graña M. Meta-ansambluri de clasificatoare pentru detectarea bolii Alzheimer folosind caracteristici ROI independente // Note de curs în informatică (inclusiv subseria Note de prelegere în inteligența artificială și Note de prelegere în bioinformatică). - 2013. - Iunie ( numărul Partea 2 ). - doi : 10.1007/978-3-642-38622-0_13 .
  • Quan Gu, Yong-Sheng Ding, Tong-Liang Zhang. O predicție bazată pe un clasificator de ansamblu a claselor de receptori cuplați cu proteine ​​G în omologie scăzută // Neurocomputing. - 2015. - Aprilie ( vol. 154 ). - doi : 10.1016/j.neucom.2014.12.013 .

Lectură pentru lecturi suplimentare

  • Zhou Zhihua. Metode de ansamblu: Fundamente și algoritmi. - Chapman și Hall/CRC, 2012. - ISBN 978-1-439-83003-1 .
  • Robert Schapire, Yoav Freund. Boosting: Fundamente și algoritmi. - MIT, 2012. - ISBN 978-0-262-01718-3 .

Link -uri

  • Sistemul Waffles care conține implementări de Bagging, Boosting, Bayesian Model Average, Bayesian Combination of Models, Model Bucket și alte tehnici de asamblare.