Teoria învăţării statistice

Teoria învățării statistice este un model pentru mașinile de învățare bazate pe statistici și analize funcționale [1] [2] . Teoria învățării statistice se ocupă de problemele găsirii unei funcții predictive bazate pe date. Teoria învățării statistice a condus la aplicații de succes în domenii precum viziunea computerizată , recunoașterea vorbirii și bioinformatica .

Introducere

Scopul învățării este înțelegerea și prevederea. Învățarea se încadrează în mai multe categorii, inclusiv învățarea supravegheată , învățarea nesupravegheată, învățarea online și învățarea prin consolidare . Din punctul de vedere al teoriei statistice a învăţării, învăţarea supervizată este cea mai de înţeles [3] . Învățarea supravegheată implică învățarea cu setul de date de instruire Orice moment de antrenament este o pereche de intrare/ieșire, unde valoarea de intrare este mapată la valoarea de ieșire. Problema de învățare este de a reconstrui o funcție care mapează intrările la ieșiri, astfel încât funcția să poată fi utilizată pentru a prezice rezultatul intrărilor viitoare.

În funcție de tipul de inferență, problemele de învățare supravegheată sunt fie probleme de regresie , fie probleme de clasificare . Dacă rezultatul poate avea un interval continuu, este o problemă de regresie. Folosind legea lui Ohm ca exemplu, regresia ar putea lua tensiunea ca intrare și poate da curent ca ieșire. Regresia ar putea găsi relația dintre tensiune și curent ca , astfel încât ${\frac {1}{R}}$

I={\frac {1}{R}}V

Sarcinile de clasificare sunt acelea pentru care rezultatul va fi un element dintr-un set de etichete. Clasificarea este foarte comună în aplicațiile de învățare automată. Într -un sistem de recunoaștere facială , de exemplu, o imagine a unei fețe ar fi intrarea, iar rezultatul ar putea fi numele de familie al persoanei. Intrarea poate fi reprezentată ca un vector mare multidimensional ale cărui elemente reprezintă pixelii din imagine.

După antrenamentul unei caracteristici bazate pe setul de antrenament, acea caracteristică este testată pe un set de testare care nu apare în setul de antrenament.

Descriere formală

Fie spațiul vectorial al tuturor intrărilor posibile și spațiul vectorial al tuturor ieșirilor posibile. Teoria învățării statistice presupune că există o distribuție de probabilitate necunoscută asupra produsului spațiilor , adică există o necunoscută . Setul de antrenament constă din instanțe ale acestei distribuții de probabilitate și este notat $X$ $Y$ $Z=X\time Y$ $p(z)=p({\vec {x)),y)$ $n$

S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}= \{{\vec {z}}_{1},\dots ,{\vec {z}}_{n}}\}

Fiecare este un vector de intrare din datele de antrenament și este o ieșire corespunzătoare acelui vector de intrare. ${\vec {x}}_{i}$ $y_{i}$

Într-o astfel de formalizare, problema de inferență este de a găsi o funcție astfel încât . Fie spațiul funcțiilor , care se numește spațiul ipotezelor. Spațiul de ipoteză este spațiul pe care algoritmul îl va analiza. Fie o funcție de pierdere , o metrică a diferenței dintre valoarea prezisă și valoarea adevărată . Riscul aşteptat este definit ca $f:X\la Y$ $f({\vec {x)})\sim y$ ${\mathcal {H}}$ $f:X\la Y$ $V(f({\vec {x)}),y)$ $f({\vec {x)))$ $y$

I[f]=\displaystyle \int _{X\times Y}V(f({\vec {x}}),y)\,p({\vec {x}}),y)\ , d{\vec {x}}\,dy

Funcție obiectivă, cea mai bună funcție care poate fi aleasă este funcția care satisface condiția $f$

f=\inf _{h\in {\mathcal {H}}}I[h]

Deoarece distribuția probabilității este necunoscută, trebuie utilizate măsuri indirecte ale riscului așteptat. Aceste scoruri se bazează pe setul de antrenament, un eșantion din această distribuție de probabilitate necunoscută. O astfel de măsură se numește risc empiric: Un algoritm de învățare care selectează o funcție care minimizează riscul empiric se numește minimizarea riscului empiric . $p({\vec {x)),y)$ $I_{S}[f]={\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i} ),y_{i})$ $f_{S)$

Funcții de pierdere

Alegerea funcției de pierdere este determinarea factorului determinant pentru funcția care va fi aleasă de algoritmul de învățare. Funcția de pierdere afectează și rata de convergență a algoritmului. Este important ca funcția de pierdere să fie convexă [4] . $f_{S)$

Sunt utilizate diferite funcții de pierdere, în funcție de dacă problema este regresie sau clasificare.

Regresie

Funcția de pierdere cel mai frecvent utilizată pentru regresie este funcția de pierdere pătratică (cunoscută și ca norma L2 ). Această funcție de pierdere familiară este utilizată în metoda celor mai mici pătrate obișnuite . Formulă:

V(f({\vec {x}}),y)=(yf({\vec {x}})))^{2}

Valoarea absolută a pierderii (cunoscută și sub numele de norma L1 ) este, de asemenea, utilizată uneori:

V(f({\vec {x}}),y)=|yf({\vec {x}})|

Clasificare

Într-un fel, funcția indicator 0-1 este cea mai naturală funcție de pierdere pentru probleme de clasificare. Funcția ia valoarea 0 dacă rezultatul prezis se potrivește cu valoarea corectă și valoarea 1 dacă rezultatul prezis nu se potrivește cu valoarea corectă. Pentru clasificarea binară, aceasta ar fi: $Y=\{-1,1\}$

V(f({\vec {x))}),y)=\theta (-yf({\vec {x)))}

unde este funcția Heaviside . $\theta$

Regularizare

În sarcinile de învățare automată, supraadaptarea devine o problemă majoră . Deoarece învățarea este o sarcină de predicție, scopul nu este de a găsi caracteristica care se potrivește cel mai bine datelor (previzualizate), ci de a găsi caracteristica care va prezice cel mai precis rezultatul din intrările viitoare. Minimizarea riscului empiric se încadrează în acest risc de supraadaptare - găsirea unei funcții care se potrivește exact cu datele, dar nu reușește să prezică viitorul.

Supraadaptarea este un simptom al soluțiilor instabile - mici modificări ale setului de antrenament pot cauza variații mari în funcția de învățare. Se poate arăta că stabilitatea soluţiei poate fi garantată [5] [6] . Regularizarea poate rezolva problema supraajustării și poate oferi stabilitate.

Regularizarea se poate face prin limitarea spațiului ipotezelor . Poate fi limitat, de exemplu, la funcții liniare - aceasta poate fi considerată o restricție la problema standard de regresie liniară . poate fi restricționat la polinoame de grade , exponențiale sau funcții mărginite pe L1 . Restrângerea spațiului ipotezelor exclude supraadaptarea prin restrângerea formei funcțiilor potențiale, ceea ce nu permite alegerea funcțiilor care dau un risc empiric arbitrar apropiat de zero. ${\mathcal {H}}$ ${\mathcal {H}}$ ${\mathcal {H}}$ $p$

Un exemplu de regularizare este regularizarea lui Tihonov . Constă în minimizarea

{\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i},y_{i}))+ \gamma \|f\|_{\mathcal {H}}^{2}

unde este un parametru pozitiv fix. Metoda de regularizare Tihonov asigură existența, unicitatea și stabilitatea soluției [7] . $\gamma$

Note

↑ Hastie, Tibshirani, Friedman, 2009 .
↑ Mohri, Rostamizadeh, Talwalkar, 2012 .
↑ Tomaso Poggio, Lorenzo Rosasco, et al. Teoria și aplicațiile învățării statistice , 2012, clasa 1 Arhivat 16 septembrie 2012 la Wayback Machine
↑ Rosasco, Vito, Caponnetto, Fiana, Verri, 2004 , p. 1063-1076.
↑ Vapnik, Chervonenkis, 1971 , p. 264-280.
↑ Mukherjee, Niyogi, Poggio, Rifkin, 2006 , p. 161-193.
↑ Tomaso Poggio, Lorenzo Rosasco, et al. Teoria și aplicațiile învățării statistice , 2012, clasa 2 Arhivat 16 august 2016 la Wayback Machine

Literatură

Trevor Hastie, Robert Tibshirani, Jerome Friedman. Elementele învăţării statistice. - Springer-Verlag, 2009. - ISBN 978-0-387-84857-0 .
Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar. Foundations of Machine Learning.. - SUA, Massachusetts: MIT Press., 2012. - ISBN 9780262018258 .
Gagan Sidhu, Brian Caffo. Exploatarea luării deciziilor la ulcior folosind Învățarea prin întărire // Analele statisticii aplicate. - 2014. - V. 8 , nr. 2 . - doi : 10.1214/13-AOAS712 .
Rosasco L., Vito ED, Caponnetto A., Fiana M., Verri A. Funcțiile de pierdere sunt toate la fel? // Calcul neuronal. - 2004. - T. 16 .
Vapnik VN , Chervonenkis AY Despre convergența uniformă a frecvențelor relative ale evenimentelor la probabilitățile lor // Teoria probabilității și aplicațiile sale. - 1971. - T. 16 .
Mukherjee S., Niyogi P., Poggio T., Rifkin R. Teoria învățării: stabilitatea este suficientă pentru generalizare și necesară și suficientă pentru consistența minimizării riscului empiric // Advances in Computational Mathematics. - 2006. - T. 25 .

Învățare automată și extragerea datelor
Sarcini	Problema de clasificare Învățați fără profesor Învățare asistată de profesor Analiza regresiei AutoML Regulile de asociere Extragerea caracteristicilor Antrenamentul trăsăturilor Antrenament de clasare Derivarea gramaticală Învățare online
Învățarea cu un profesor	metoda k-cel mai apropiat vecin Clasificator naiv Bayes arborele de decizie Suport mașină vectorială Regresie liniara Regresie logistică perceptron Ansambluri de modele Bagare stimularea pădure la întâmplare Metoda vectorială relevantă
analiza grupului	metoda k-means Metoda de grupare fuzzy Gruparea ierarhică algoritmul EM MESTEACĂN VINDECA DBSCAN OPTICA Schimbarea medie
Reducerea dimensionalității	Analiza factorilor Metoda componentei principale CCA ICA LDA Expansiunea nenegativă a matricei t-SNE
Prognoza structurală	Modelul probabilistic grafic Rețeaua bayesiană Modelul Markov ascuns CRF
Detectarea anomaliilor	metoda k-cel mai apropiat vecin Nivelul de emisie local
Modele grafice probabilistice	Rețeaua bayesiană Rețeaua Markov Modelul Markov ascuns
Rețele neuronale	Mașină Boltzmann limitată hartă de auto-organizare Funcția de activare Sigmoid softmax Funcția de bază radială Metoda de propagare înapoi Invatare profunda Perceptron multistrat Rețea neuronală recurentă memorie pe termen lung și scurt Bloc recurent controlat Rețeaua neuronală convoluțională U-Net Autoencoder
Consolidarea învățării	procesul Markov Ecuația Bellman Algoritmul lacom Q-learning SARSA Diferența temporală (TD)
Teorie	Teoria Vapnik-Chervonenkis Dilema părtinire-dispersie Teoria învățării computaționale Minimizarea riscului empiric Occam învață Învățarea PAC Teoria învăţării statistice
Reviste și conferințe	NeurIPS ICML ML JMLR ArXiv:cs.LG