Antrenamentul arborelui de decizie

Antrenamentul arborelui de decizie folosește arborele de decizie (ca model predictiv ) pentru a trece de la observații asupra obiectelor (reprezentate în ramuri) la inferențe despre valorile țintă ale obiectelor (reprezentate în frunze). Această învățare este una dintre abordările de modelare a predicțiilor utilizate în statistică , extragerea datelor și învățarea automată . Modelele de arbore în care variabila țintă poate prelua un set discret de valori sunt numite arbori de clasificare . În aceste structuri arborescente, frunzele reprezintă etichete de clasă, iar ramurile reprezintă conjuncții de caracteristici care conduc la acele etichete de clasă. Arborele de decizie în care variabila țintă poate lua valori continue (de obicei numere reale ) se numesc arbori de regresie .

În analiza deciziei, un arbore decizional poate fi utilizat pentru a reprezenta vizual și explicit luarea deciziilor . În data mining , un arbore de decizie descrie datele (dar arborele de clasificare rezultat poate fi o intrare în luarea deciziilor ). Această pagină tratează arbori de decizie în data mining .

Discuție

Antrenamentul arborelui de decizie este o tehnică folosită în mod obișnuit în data mining [1] . Scopul este de a crea un model care prezice valoarea unei variabile țintă pe baza unor variabile de intrare. Un exemplu este prezentat în diagrama din dreapta. Fiecare nod intern corespunde uneia dintre variabilele de intrare. Există margini pentru copii pentru fiecare valoare posibilă a acestei variabile de intrare. Fiecare frunză reprezintă valoarea variabilei țintă, care este determinată de valorile variabilelor de intrare de la rădăcină la frunză.

Un arbore de decizie este o reprezentare simplă pentru exemple de clasificare. Pentru această secțiune, presupuneți că toate caracteristicile de intrare sunt seturi finite discrete și că există o singură caracteristică țintă numită „clasificare”. Fiecare element al clasificării se numește clasă . Un arbore de decizie sau un arbore de clasificare este un arbore în care fiecare nod intern (fără frunză) este etichetat cu o caracteristică de intrare. Arcurile care ies din nodul etichetat de parametrul de intrare sunt etichetate cu toate valorile posibile ale caracteristicii de ieșire sau arcul duce la un nod de decizie subordonat cu o caracteristică de intrare diferită. Fiecare frunză a arborelui este etichetată cu o clasă sau o distribuție de probabilitate pe clase.

Un arbore poate fi „antrenat” prin împărțirea unui set în subseturi pe baza verificărilor valorii atributelor. Acest proces, care se repetă recursiv pe fiecare subset rezultat, se numește partiționare recursivă . Recursiunea se termină atunci când un subset dintr-un nod are aceeași valoare variabilă țintă sau când împărțirea nu adaugă nicio valoare predicțiilor. Acest proces de inducție de sus în jos a arborilor de decizie ( TDIDT ) [2] este un exemplu de algoritm lacom și este cea mai frecvent utilizată strategie pentru învățarea arborilor de decizie din date.

În data mining , arborii de decizie pot fi, de asemenea, descriși ca o combinație de tehnici matematice și de calcul pentru a descrie, clasifica și generaliza un anumit set de date.

Datele vin sub forma de înregistrări sub forma:

({\textbf {x}},Y)=(x_{1},x_{2},x_{3},...,x_{k},Y)

Variabila dependentă Y este variabila țintă pe care încercăm să o înțelegem, să o clasificăm sau să o generalizăm. Vectorul x este alcătuit din caracteristici x 1 , x 2 , x 3 etc. care sunt utilizate pentru sarcină.

Tipuri de arbori de decizie

Arborele de decizie sunt utilizați în data mining și vin în două tipuri principale:

Analiza arborelui de clasificare când rezultatul estimat este clasa căreia îi aparțin datele.
Analiza arborelui de regresie , când rezultatul estimat poate fi considerat un număr real (de exemplu, prețul unei case sau durata șederii unui pacient într-un spital).

Termenul de analiză a arborelui de clasificare și regresie ( CART) este un termen generic și este folosit pentru a se referi la cele două proceduri menționate mai sus, primul dintre care a fost introdus de Breiman și colab., în 1984 [3] . Arborii utilizați pentru regresie și arborii utilizați pentru clasificare au unele asemănări, dar au și diferențe, precum procedura utilizată pentru determinarea locației divizării [3] .

Unele tehnici, adesea denumite metode de construire , construiesc mai mult de un arbore de decizie:

Trees construieșteuncu pas antrenând fiecare instanță nouă, cu accent pe instruirea instanțelor care nu au fost incluse anterior în model. Un exemplu tipic esteAdaBoost. Aceasta poate fi folosită atât pentru probleme de tip regresie, cât și pentru probleme de clasificare [4] [5] .
Decision tree bagging, o metodă de asamblare timpurie care construiește mai mulți arbori de decizie prin reeșantionarea datelor de antrenament cu arbori de înlocuire și de vot pentru a se potrivi cu predicția [6] .
- Clasificatorul de pădure aleatoriu este un tip specific de ambalare .
O pădure rotațională este o abordare în care fiecare arbore de decizie este mai întâi antrenat utilizând Analiza componentelor principale ( PCA) pe un subset aleatoriu de caracteristici de intrare [7] .

Un caz special de arbori de decizie este lista de decizie [8] , care este un arbore de decizie unidirecțional astfel încât orice nod intern are exact 1 frunză și exact 1 nod intern ca copil (cu excepția nodului cel mai de jos, al cărui singurul copil este o foaie). Deși aceste liste sunt mai puțin expresive, ele sunt mai ușor de înțeles decât arborii de decizie generali datorită rarii, ceea ce permite metode de învățare non-lacomi [9] și permite, de asemenea, constrângeri monotone [10] .

Antrenamentul arborelui de decizie este construcția unui arbore de decizie din tupluri de antrenament etichetate în clasă. Un arbore de decizie este o structură asemănătoare unei organigrame în care fiecare nod intern (fără frunză) reprezintă un test de atribut, fiecare ramură reprezintă un rezultat al testului și fiecare frunză (nodul terminal) conține o etichetă de clasă. Vârful superior este nodul rădăcină.

Există mulți algoritmi de arbore de decizie. Cele mai notabile sunt:

ID3 ( ing. Iterative Dichotomizer 3 )
C4.5 (succesorul algoritmului ID3)
Clasificare și regresie prin construirea unui arbore de decizie. ( Arborele de clasificare și regresie în engleză , CART)
Detectarea automată a dependențelor după criteriul chi-pătrat ( CHi -squared Automatic Interaction Detector , CHAID). Efectuează împărțirea pe mai multe niveluri la calculul arborilor de clasificare [11] .
Spline de regresie adaptivă multivariată ( eng. Spline de regresie adaptive multivariate , MARS): extinde arborii de decizie pentru o mai bună procesare a datelor cantitative.
Arbori de inferență condiționată . O abordare bazată pe statistici care utilizează teste non-parametrice ca criteriu de împărțire, ajustate pentru teste multiple pentru a evita supraadaptarea. Această abordare are ca rezultat alegerea unui predictor imparțial și nu necesită tăiere [12] [13] .

ID3 și CART au fost dezvoltate independent și aproximativ în același timp (între 1970 și 1980), dar folosesc abordări similare pentru a antrena un arbore de decizie din tupluri de antrenament.

Valori

Algoritmii de construire a arborelui de decizie funcționează de obicei de sus în jos prin alegerea unei variabile la fiecare pas care împarte cel mai bine setul de elemente [14] . Algoritmi diferiți folosesc valori diferite pentru a măsura „cea mai bună” soluție. Ele măsoară de obicei omogenitatea variabilei țintă pe subseturi. Câteva exemple sunt date mai jos. Aceste metrici sunt aplicate fiecărui subset și valorile rezultate sunt combinate (de exemplu, se calculează o medie) pentru a obține o măsură a calității partiției.

Impuritate (criteriu) Gini

Utilizat în algoritmul arborelui de clasificare și regresie (CART) , criteriul Gini este o măsură a frecvenței cu care un element selectat aleatoriu dintr-un set este etichetat incorect dacă este etichetat aleatoriu în funcție de distribuția etichetelor într-un subset. Criteriul Gini poate fi calculat prin însumarea probabilității unui element cu o etichetă selectată înmulțită cu probabilitatea unei erori de categorizare pentru acel element. Criteriul acceptă un minim (zero) atunci când toate cazurile dintr-un nod se încadrează în aceeași categorie țintă. $p_{i}$ $i$ $\sum _{k\neq i}p_{k}=1-p_{i)$

Pentru a calcula criteriul Gini pentru un set de elemente cu clase, să presupunem că , și să fie proporția elementelor etichetate cu o clasă din mulțime. $J$ $i\in \{1,2,...,J\)$ $p_{i}$ $i$

\operatorname {I} _{G}(p)=\sum _{i=1}^{J}p_{i}\sum _{k\neq i}p_{k}=\sum _{ i=1}^{J}p_{i}(1-p_{i})=\sum _{i=1}^{J}(p_{i}-{p_{i}}^{2}) =\sum _{i=1}^{J}p_{i}-\sum _{i=1}^{J}{p_{i}}^{2}=1-\sum _{i=1 }^{J}{p_{i}}^{2}

Câștig de informații

În algoritmii de generare a arborilor ID3 , C4.5 și C5.0. se folosește câștigul de informații , care se bazează pe conceptul de entropie și cantitatea de informații din teoria informației .

Entropia este definită după cum urmează

\mathrm {H} (T)=\operatorname {I} _{E}\left(p_{1},p_{2},...,p_{J}\right)=-\sum _ {i=1}^{J}{p_{i}\log _{2}p_{i}}

unde sunt fracțiile care însumează 1, care reprezintă procentul fiecărei clase obținute dintr-o scindare în arbore [15] . $p_{1},p_{2},...$

eu G ( T , A ) ⏞ Câștigarea informațiilor = H ( T ) ⏞ Entropie (părinte) − H ( T | A ) ⏞ Suma ponderată a entropiei (copii) {\displaystyle \overbrace {IG(T,a)} ^{\text{Câștig de informații}}=\overbrace {\mathrm {H} (T)} ^{\text{Entropie (părinte))}-\overbrace { \mathrm {H} (T|a)} ^{\text{Suma ponderată a entropiei (copii)}}}

\overbrace {IG(T,a)} ^{\text{Câștig de informații}}=\overbrace {\mathrm {H} (T)} ^{\text{Entropie (părinte))}-\overbrace { \mathrm {H} (T|a)} ^{\text{Suma ponderată a entropiei (copii)}}

=-\sum _{i=1}^{J}p_{i}\log _{2}{p_{i}}-\sum _{a}{p(a)\sum _{i =1}^{J}-\Pr(i|a)\log _{2}{\Pr(i|a)))

În formulă

Câștig de informații = Câștig de informații
Entropie (părinte)=Entropie (părinte)
Suma ponderată a entropiei (copii)=Suma ponderată a entropiei (copii)

Câștigul de informații este folosit pentru a decide ce caracteristică să folosească pentru împărțire la fiecare pas al construcției arborelui. Simplitatea este cea mai bună alegere, așa că vrem să păstrăm copacul mic. Pentru a face acest lucru, la fiecare pas trebuie să alegem o divizare care să conducă la cele mai simple noduri descendente. O măsură de simplitate folosită în mod obișnuit se numește informație , care este măsurată în biți . Pentru fiecare nod al arborelui, valoarea informației „reprezintă numărul așteptat care este necesar pentru a determina dacă noul obiect trebuie clasificat ca da sau nu, având în vedere că exemplul ajunge la acel nod” [15] .

Luați în considerare un exemplu de set de date cu patru atribute: vreme (însorit, înnorat, ploaie), temperatură (cald, blând, rece), umiditate (mare, normală) și vânt (da, nu) cu o variabilă țintă binară (da sau nu) și 14 puncte de date. Pentru a construi un arbore de decizie pe baza acestor date, trebuie să comparăm câștigul de informații al fiecăruia dintre cei patru arbori, în care este împărțit în funcție de una dintre cele patru caracteristici. Diviziunea cu câștigul maxim de informații este luată ca prima divizare, iar procesul continuă până când toți descendenții sunt primi sau până când câștigul de informații este zero.

O împărțire folosind caracteristica vântul are ca rezultat două noduri copil, un nod pentru caracteristica vântul cu valoarea da și un nod cu valoarea nu . Există șase puncte de date în acest set de date cu o valoare da pentru vânt , trei pentru jocul cu valoarea țintă de yes și trei cu valoarea nu . Cele opt puncte de date rămase pentru parametrul vântului cu o valoare nu conțin două nu și șase da . Informația vântul = nodul da este calculată folosind ecuația de entropie de mai sus. Deoarece există un număr egal de da și nu la acest nod, avem

I_{E}([3,3])=-{\frac {3}{6}}\log _{2}^{}{\frac {3}{6}}-{\frac { 3}{6}}\log _{2}^{}{\frac {3}{6}}=-{\frac {1}{2}}\log _{2}^{}{\frac { 1}{2}}-{\frac {1}{2}}\log _{2}^{}{\frac {1}{2}}=1

Pentru un nod cu vânt =nu, au existat opt puncte de date, șase cu o țintă da și două cu nu . Astfel avem

I_{E}([6,2])=-{\frac {6}{8}}\log _{2}^{}{\frac {6}{8}}-{\frac { 2}{8}}\log _{2}^{}{\frac {2}{8}}=-{\frac {3}{4}}\log _{2}^{}{\frac { 3}{4}}-{\frac {1}{4}}\log _{2}^{}{\frac {1}{4}}=0,8112781

Pentru a găsi informațiile împărțite , calculăm media ponderată a acestor două numere pe baza numărului de observații care au căzut în fiecare nod.

I_{E}([3,3],[6,2])=I_{E)

(vânt - da sau nu)

={\frac {6}{14}}\cdot 1+{\frac {8}{14}}\cdot 0,8112781=0,8921589

Pentru a găsi câștigul de informații al unei împărțiri folosind wind , trebuie să calculăm informațiile din date înainte de împărțire. Datele inițiale au conținut nouă da și cinci nu .

I_{E}([9,5])=-{\frac {9}{14}}\log _{2}^{}{\frac {9}{14}}-{\frac { 5}{14}}\log _{2}{\frac {5}{14}}=0,940286

Acum putem calcula câștigul de informații obținut prin împărțire în funcție de atributul vântului .

IG

(vânt)

=I_{E}([9,5])-I_{E}([3,3],[6,2])=0,940286-0,8921589=0,0481271

Pentru a construi un arbore, trebuie să calculăm câștigul de informații al fiecărei prime diviziuni posibile. Cea mai bună primă împărțire este cea care oferă cel mai mare câștig de informații. Acest proces se repetă pentru fiecare nod (cu caracteristici mixte) până când arborele este construit. Acest exemplu este preluat dintr-un articol al lui Witten, Frank și Hall [15] .

Reducerea varianței

Reducerea varianței prezentată în CART [3] este adesea folosită în cazurile în care variabila țintă este continuă (arborele de regresie), ceea ce înseamnă că utilizarea multor alte metrici ar necesita eșantionare înainte de aplicare. Reducerea varianței unui nod N este definită ca reducerea globală a varianței variabilei țintă x ca o consecință a divizării la acel nod:

I_{V}(N)={\frac {1}{|S|^{2}}}\sum _{i\in S}\sum _{j\in S}{\frac {1 }{2}}(x_{i}-x_{j})^{2}-\left({\frac {1}{|S_{t}|^{2}}}\sum _{i\in S_{t}}\sum _{j\in S_{t}}{\frac {1}{2}}(x_{i}-x_{j})^{2}+{\frac {1}{ |S_{f}|^{2}}}\sum _{i\in S_{f}}\sum _{j\in S_{f}}{\frac {1}{2}}(x_{i }-x_{j})^{2}\dreapta)

unde , și sunt setul de indici înainte de împărțire, setul de indici pentru care testul evaluează drept adevărat și, respectiv, setul de indici pentru care testul evaluează fals. Fiecare dintre termenii de mai sus este o estimare a mărimii abaterii , deși scrisă fără referire directă la medie. $S$ $Sf$ $S_{f}$

Aplicație

Beneficii

Printre alte metode de analiză a datelor, arborii de decizie prezintă o serie de avantaje:

Ușor de înțeles și interpretat. Oamenii sunt capabili să înțeleagă modelele arborelui de decizie după o scurtă explicație. Arborele pot fi reprezentați grafic în așa fel încât să fie ușor de interpretat fără a fi un expert [16] .
Capabil să lucreze atât cu date numerice cât și calitative [16] . Alți tehnicieni se specializează de obicei în analiza datelor care au un singur tip de variabilă. (De exemplu, regulile de relație pot fi utilizate numai cu variabile categorice, în timp ce rețelele neuronale pot fi utilizate numai cu variabile numerice (cantități) sau scalate la valori 0/1.)
Necesită puțină pregătire a datelor. Alte tehnici necesită adesea normalizarea datelor. Deoarece arborii pot gestiona variabile calitative independente, nu este nevoie să se creeze variabile fictive [16] .
Utilizează un model de cutie albă . Dacă situația dată este observabilă în model, condițiile sunt ușor explicate prin logica booleană. În schimb, într-un model cutie neagră , explicația rezultatelor este de obicei dificil de înțeles, de exemplu, din cauza utilizării unei rețele neuronale artificiale .
Puteți verifica corectitudinea modelului folosind teste statistice. Acest lucru face posibilă verificarea validității modelului.
O abordare non-statistică care nu face ipoteze cu privire la datele de antrenament sau la variațiile de predicție. De exemplu, nu se fac ipoteze cu privire la distribuția, independența sau constanța varianței
Funcționează bine cu seturi mari de date. O cantitate mare de date poate fi analizată cu resurse de calcul standard într-un timp rezonabil.
Reflectați luarea deciziilor umane mai îndeaproape decât alte abordări [16] . Acest lucru poate fi util atunci când modelați deciziile umane și comportamentul uman.
Mai rezistent la coliniaritate.
În funcție de selecția caracteristică efectuată . Caracteristicile suplimentare inutile vor fi utilizate într-o măsură mai mică, astfel încât să poată fi eliminate din rulările ulterioare.
Arborii de decizie pot fi aproximați prin orice funcție booleană echivalentă cu XOR [17] .

Restricții

Copacii pot fi semnificativ instabili. Micile modificări ale datelor de antrenament pot duce la modificări semnificative ale arborelui și, eventual, la predicțiile finale [16] .
Se știe că problema învățării la un arbore de decizie optim este NP-complet în ceea ce privește unele întrebări de optimitate și chiar pentru concepte simple [18] [19] . În consecință, algoritmii practici de învățare a arborelui de decizie se bazează pe euristici, cum ar fi algoritmul greedy , în care deciziile locale optime sunt luate pentru fiecare nod. Astfel de algoritmi nu pot garanta un arbore de decizie optim la nivel global. Pentru a reduce efectul optimității locale, sunt propuse unele metode, cum ar fi arborele dual de distanță a informațiilor ( DID ) [ 20] .

Antrenamentul arborelui de decizie poate crea arbori supracomplicați care nu se generalizează bine din datele de antrenament (care este cunoscut sub numele de supraadaptare [21] ). Mecanisme precum trimming devin necesare pentru a evita această problemă (cu excepția unor algoritmi, abordări precum Inferența condiționată care nu necesită trimming) [ 12] [13] .
Pentru datele care au variabile calitative cu un număr diferit de niveluri , câștigul de informații din arborele de decizie este deplasat către atribute cu niveluri mai mari [22] . Cu toate acestea, problema părtinirii utilizând inferența condiționată [12] , abordarea în două etape [23] sau selecția de caracteristici adaptive pentru obiecte individuale [24] .

Implementări

Multe pachete de data mining implementează unul sau mai mulți algoritmi de arbore de decizie.

Exemple sunt Salford Systems CART (care a licențiat codul proprietar al autorilor originali CART) [3] , IBM SPSS Modeler , RapidMiner , SAS Enterprise Miner , Matlab , R (software open source pentru calcul statistic) . , care include mai multe implementări CART, cum ar fi pachetele rpart, party și randomForest), Weka (un pachet de data mining open source care conține mulți algoritmi de arbore de decizie), Orange , KNIME , Microsoft SQL Server [1] și scikit -learn (o bibliotecă Python gratuită și open source pentru învățarea automată).

Extensii

Grafice de decizie

Într-un arbore de decizie, toate căile de la nodul rădăcină la o frunză trec printr-o conjuncție ( ȘI ). În graficul de decizie, este posibil să se folosească disjuncția ( SAU ) pentru a combina căi folosind un mesaj de lungime minimă ( engleză. Lungimea minimă a mesajului , MML) [25] . Graficele de decizie sunt extinse în continuare cu rezoluția atributelor neutilizate anterior pentru a fi antrenate dinamic și utilizate în diferite locuri din grafic [26] . O schemă de codare mai generală are ca rezultat predicții mai bune și performanță de pierdere a jurnalului. În general, graficele de decizie produc modele cu mai puține frunze decât arborii de decizie.

Metode alternative de căutare

Algoritmii evolutivi au fost utilizați pentru a elimina soluțiile locale optime și pentru a căuta arbori de decizie cu prejudecăți anterioare mai mici [27] [28] .

Arborii pot fi simplificați folosind metoda Monte Carlo pentru lanțuri Markov ( Markov chain Monte Carlo , MCMC) [29] .

Arborele poate fi văzut de jos în sus [30] .

Vezi și

Tăierea arborilor de decizie
Diagrama de decizie binară
CHAID
CART
ID3 (algoritm)
Algoritmul C4.5
Stumps decisivi , folosit, de exemplu, în algoritmul AdaBoost
Lista soluțiilor
Arbori de decizie incremental
Arbori de decizie intercalați
Analiza datelor structurate
arbore model logistic
Gruparea ierarhică

Note

↑ Rokach, Maimon, 2008 .
↑ Quinlan, 1986 , p. 81-106.
↑ 1 2 3 4 Breiman, Friedman, Olshen, Stone, 1984 .
↑ Friedman, 1999 .
↑ Hastie, Tibshirani, Friedman, 2001 .
↑ Breiman, 1996 , p. 123–140.
↑ Rodriguez, Kuncheva, Alonso, 2006 , p. 1619–1630.
↑ Rivest, 1987 , p. 229–246.
↑ Letham, Rudin, McCormick, Madigan, 2015 , p. 1350–1371.
^ Wang, Rudin, 2015 .
↑ Kass, 1980 , p. 119–127.
↑ 1 2 3 Hothorn, Hornik, Zeileis, 2006 , p. 651–674.
↑ 1 2 Strobl, Malley, Tutz, 2009 , p. 323–348.
↑ Rokach, Maimon, 2005 , p. 476–487.
↑ 1 2 3 Witten, Frank, Hall, 2011 , p. 102–103.
↑ 1 2 3 4 5 Gareth, Witten, Hastie, Tibshirani, 2015 , p. 315.
↑ Mehtaa, Raghavan, 2002 , p. 609–623.
↑ Hyafil, Rivest, 1976 , p. 15–17.
↑ Murthy, 1998 .
↑ Ben-Gal, Dana, Shkolnik, Singer, 2014 , p. 133–147.
↑ Bramer, 2007 .
↑ Deng, Runger, Tuv, 2011 , p. 293–300.
↑ Brandmaier, von Oertzen, McArdle, Lindenberger, 2012 , p. 71–86.
↑ Painsky și Rosset, 2017 , p. 2142–2153.
↑ CiteSeerX . Preluat la 2 ianuarie 2019. Arhivat din original la 21 martie 2008. (nedefinit)
↑ Tan & Dowe (2003) . Preluat la 2 ianuarie 2019. Arhivat din original la 28 mai 2016. (nedefinit)
↑ Papagelis, Kalles, 2001 , p. 393–400.
↑ Barros, Basgalupp, Carvalho, Freitas, 2012 , p. 291–312.
↑ Chipman, George, McCulloch, 1998 , p. 935–948.
↑ Barros, Cerri, Jaskowiak, Carvalho, 2011 , p. 450–456.

Literatură

Lior Rokach, Maimon O. Miningul de date cu arbori de decizie: teorie și aplicații. - World Scientific Pub Co Inc, 2008. - ISBN 978-9812771711 .
Quinlan JR Inducerea arborilor de decizie // Machine Learning. - Kluwer Academic Publishers, 1986. - Vol. 1 . - S. 81-106 .
Leo Breiman, Friedman JH, Olshen RA, Stone CJ Clasificare și arbori de regresie. - Monterey, CA: Wadsworth & Brooks/Cole Advanced Books & Software, 1984. - ISBN 978-0-412-04841-8 .
Friedman JH Creșterea gradientului stocastic . - Universitatea Stanford, 1999.
Hastie T., Tibshirani R., Friedman JH Elementele învățării statistice: Exploatarea datelor, inferență și predicție. — al 2-lea. - New York: Springer Verlag, 2001. - (Seria Springer în Statistică). - ISBN 978-0-387-84857-0 .
Breiman L. Bagging Predictors // Învățare automată. - 1996. - T. 24 , nr. 2 . - doi : 10.1007/BF00058655 .
Rodriguez JJ, Kuncheva LI, Alonso CJ Pădurea de rotație: O nouă metodă de ansamblu clasificator // Tranzacții IEEE privind analiza modelelor și inteligența mașinilor. - 2006. - T. 28 , nr. 10 . - doi : 10.1109/TPAMI.2006.211 . — PMID 16986543 .
Ron Rivest. Liste de decizii de învățare // Învățare automată. - 1987. - Noiembrie ( vol. 3 , numărul 2 ). - doi : 10.1023/A:1022607331053 .
Ben Letham, Cynthia Rudin, Tyler McCormick, David Madigan. Clasificatori interpretabili folosind reguli și analiză bayesiană: construirea unui model mai bun de predicție a cursei // Analele statisticii aplicate. - 2015. - T. 9 , nr. 3 . - doi : 10.1214/15-AOAS848 . - arXiv : 1511.01644 .
Fulton Wang, Cynthia Rudin. Liste de reguli în scădere // Journal of Machine Learning Research. - 2015. - T. 38 .
Kass G.V. - 1980. - T. 29 , nr. 2 . - doi : 10.2307/2986296 . — .
Hothorn T., Hornik K., Zeileis A. Partiționare recursiva imparțială: un cadru de inferență condiționată // Journal of Computational and Graphical Statistics. - 2006. - T. 15 , nr. 3 . - doi : 10.1198/106186006X133933 . — .
Strobl C., Malley J., Tutz G. An Introduction to Recursive Partitioning: Rationale, Application and Characteristics of Classification and Regression Trees, Bagging and Random Forests // Psychological Methods. - 2009. - T. 14 , nr. 4 . - doi : 10.1037/a0016973 . — PMID 19968396 .
Rokach L., Maimon O. Inducerea de sus în jos a clasificatorilor arborilor de decizie-un sondaj // IEEE Transactions on Systems, Man, and Cybernetics, Part C. - 2005. - Vol. 35 , nr. 4 . - doi : 10.1109/TSMCC.2004.843247 .
Ian Witten, Eibe Frank, Mark Hall. extragerea datelor. - Burlington, MA: Morgan Kaufmann, 2011. - ISBN 978-0-12-374856-0 .
Max Bramer. Principiile minării datelor. - Springer-Verlag, 2007. - (Subiecte de licență în informatică). — ISBN 978-1-84628-765-7 . - doi : 10.1007/978-1-84628-766-4 .
James Gareth, Daniela Witten, Trevor Hastie, Robert Tibshirani. O introducere în învățarea statistică. — New York: Springer, 2015. — ISBN 978-1-4614-7137-0 .
Dinesh Mehtaa, Vijay Raghavan. Aproximații arborelui de decizie ale funcțiilor booleene // Informatică teoretică. - 2002. - T. 270 , nr. 1–2 . — S. 609–623 . - doi : 10.1016/S0304-3975(01)00011-1 .
Laurent Hyafil, Rivest RL Construirea arborilor de decizie binari optimi este NP-complet // Scrisori de procesare a informațiilor. - 1976. - V. 5 , nr. 1 . — S. 15–17 . - doi : 10.1016/0020-0190(76)90095-8 .
Murthy S. Construcția automată a arborilor de decizie din date: un sondaj multidisciplinar // Data Mining and Knowledge Discovery. — 1998.

Irad Ben-Gal, Alexandra Dana, Niv Shkolnik, Gonen Singer. Construirea eficientă a arborilor de decizie prin metoda distanței duble a informațiilor // Tehnologia calității și managementul cantitativ. - 2014. - T. 11 , nr. 1 . — p. 133–147 .
Deng H., Runger G., Tuv E. Măsuri de părtinire a importanței pentru atribute și soluții cu mai multe valori // Proceedings of the 21st International Conference on Artificial Neural Networks (ICANN) . - 2011. - S. 293-300.
Andreas M. Brandmaier, Timo von Oertzen, John J. McArdle, Ulman Lindenberger. Arborele modelului de ecuație structurală. // Metode psihologice. - 2012. - T. 18 , nr. 1 . — p. 71–86 . - doi : 10.1037/a0030001 . — PMID 22984789 .
Amichai Painsky, Saharan Rosset. Selecția de variabile cu validare încrucișată în metodele bazate pe arbore îmbunătățește performanța predictivă // Tranzacții IEEE privind analiza modelelor și inteligența mașinii. - 2017. - T. 39 , nr. 11 . — S. 2142–2153 . - doi : 10.1109/TPAMI.2016.2636831 . — PMID 28114007 .
Papagelis A., Kalles D. Breeding Decision Trees Using Evolutionary Techniques // Proceedings of the Eighteenth International Conference on Machine Learning, 28 iunie-1 iulie 2001. - 2001. - P. 393-400.
Rodrigo C. Barros, deputat Basgalupp, Carvalho ACPLF, Alex A. Freitas. Un studiu al algoritmilor evolutivi pentru inducerea arborelui decizional // Tranzacțiile IEEE privind sistemele, om și cibernetică. - 2012. - T. 42 , nr. 3 . — S. 291–312 . - doi : 10.1109/TSMCC.2011.2157494 .
Hugh A. Chipman, Edward I. George, Robert E. McCulloch. Căutare model CART bayesian // Jurnalul Asociației Americane de Statistică. - 1998. - T. 93 , nr. 443 . — S. 935–948 . - doi : 10.1080/01621459.1998.10473750 .
Barros RC, Cerri R., Jaskowiak PA, Carvalho ACPLF Un algoritm de inducție a arborelui de decizie oblic de jos în sus // Proceedings of the 11th International Conference on Intelligent Systems Design and Applications (ISDA 2011). - 2011. - S. 450-456. — ISBN 978-1-4577-1676-8 . - doi : 10.1109/ISDA.2011.6121697 .

Lectură pentru lecturi suplimentare

Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani. Tree-Based Methods // An Introduction to Statistical Learning: with Applications in R. - New York: Springer, 2017. - pp. 303–336. — ISBN 978-1-4614-7137-0 .

Link -uri

Construirea arborilor de decizie în Python de la O'Reilly.
Un addendum la „Construirea arborilor de decizie în Python” de la O'Reilly.
Tutorial arbori de decizie folosind Microsoft Excel.
Pagina Decision Trees la aitopics.org , o pagină cu link-uri comentate.
Implementarea arborelui de decizie în Ruby (AI4R)
Arborele decizional profund | Implementarea
Învățare evolutivă a arborilor de decizie în C++
Implementarea Java a arborilor de decizie bazată pe câștig de informații
O explicație foarte detaliată a câștigului de informații ca criteriu de împărțire

Învățare automată și extragerea datelor
Sarcini	Problema de clasificare Învățați fără profesor Învățare asistată de profesor Analiza regresiei AutoML Regulile de asociere Extragerea caracteristicilor Antrenamentul trăsăturilor Antrenament de clasare Derivarea gramaticală Învățare online
Învățarea cu un profesor	metoda k-cel mai apropiat vecin Clasificator naiv Bayes arborele de decizie Suport mașină vectorială Regresie liniara Regresie logistică perceptron Ansambluri de modele Bagare stimularea pădure la întâmplare Metoda vectorială relevantă
analiza grupului	metoda k-means Metoda de grupare fuzzy Gruparea ierarhică algoritmul EM MESTEACĂN VINDECA DBSCAN OPTICA Schimbarea medie
Reducerea dimensionalității	Analiza factorilor Metoda componentei principale CCA ICA LDA Expansiunea nenegativă a matricei t-SNE
Prognoza structurală	Modelul probabilistic grafic Rețeaua bayesiană Modelul Markov ascuns CRF
Detectarea anomaliilor	metoda k-cel mai apropiat vecin Nivelul de emisie local
Modele grafice probabilistice	Rețeaua bayesiană Rețeaua Markov Modelul Markov ascuns
Rețele neuronale	Mașină Boltzmann limitată hartă de auto-organizare Funcția de activare Sigmoid softmax Funcția de bază radială Metoda de propagare înapoi Invatare profunda Perceptron multistrat Rețea neuronală recurentă memorie pe termen lung și scurt Bloc recurent controlat Rețeaua neuronală convoluțională U-Net Autoencoder
Consolidarea învățării	procesul Markov Ecuația Bellman Algoritmul lacom Q-learning SARSA Diferența temporală (TD)
Teorie	Teoria Vapnik-Chervonenkis Dilema părtinire-dispersie Teoria învățării computaționale Minimizarea riscului empiric Occam învață Învățarea PAC Teoria învăţării statistice
Reviste și conferințe	NeurIPS ICML ML JMLR ArXiv:cs.LG