Rețeaua neuronală a lui Kohonen

Rețelele neuronale Kohonen sunt o clasă de rețele neuronale , al căror element principal este stratul Kohonen . Stratul Kohonen este alcătuit din aditivi liniari adaptivi (" neuroni formali liniari "). De regulă, semnalele de ieșire ale stratului Kohonen sunt procesate conform regulii „ Câștigătorul ia tot ”: cel mai mare semnal se transformă într-unul, restul se transformă în zero.

În funcție de metodele de setare a greutăților de intrare ale sumatorilor și a sarcinilor de rezolvat, există multe varietăți de rețele Kohonen [1] . Cele mai faimoase dintre ele:

rețele de cuantizare vectorială a semnalelor [2] , strâns legate de cel mai simplu algoritm de analiză a clusterelor de bază (metoda nucleelor dinamice sau K-means );
hărți auto-organizate ale lui Kohonen ( hărți auto-organizate în limba engleză , SOM ) [3] ;
rețele de cuantizare vectorială supravegheată [4 ] .

Stratul Kohonen

Versiunea de bază

Stratul Kohonen este format dintr-un număr de elemente liniare paralele. Toate au același număr de intrări și primesc același vector de semnale de intrare la intrările lor . La ieșirea celui de-al treilea element liniar, obținem semnalul $n$ $m$ $x=(x_{1},...x_{m})$ $j$

y_{j}=w_{{j0}}+\sum _{{i=1}}^{m}w_{{ji}}x_{i},

Unde:

$w_{{ji}}$ este coeficientul de greutate al celui de -al -lea input al celui de -al -lea neuron; $i$ $j$
$i$ - numărul de intrare;
$j$ — numărul neuronului;
$w_{{j0}}$ — coeficientul de prag.

După trecerea prin stratul de elemente liniare, semnalele sunt trimise pentru procesare conform regulii „câștigătorul ia tot”: printre semnalele de ieșire se face o căutare a maximului ; numarul lui . În cele din urmă, la ieșire, semnalul cu numărul este egal cu unu, restul - la zero. Dacă maximul este atins simultan pentru mai multe , atunci: $y_{j}$ $j_{{\max }}={{\rm {arg}}}\max _{{j}}\{y_{j}\}$ $j_{{\max ))$ $j_{{\max ))$

sau luați toate semnalele corespunzătoare egale cu unul;
sau doar primul semnal din listă este luat egal cu unul (prin acord).

„Neuronii lui Kohonen pot fi gândiți ca un set de becuri, astfel încât pentru orice vector de intrare, unul dintre ei se aprinde” [5] .

Interpretare geometrică

Straturile Kohonen construite după cum urmează sunt utilizate pe scară largă: fiecare ( -al-lea) neuron este asociat cu un punct din spațiul -dimensional (spațiul semnalului). Pentru un vector de intrare , distanțele sale euclidiene la puncte sunt calculate și „cel mai apropiat primește totul” - neuronul pentru care această distanță este minimă dă unul, restul sunt zerouri. Trebuie remarcat faptul că pentru a compara distanțe, este suficient să calculați funcția liniară a semnalului: $j$ $W_{j}=(w_{{j1}},...w_{{jm}})$ $m$ $x=(x_{1},...x_{m})$ $\rho _{j}(x)$ $W_j$

\rho _{j}(x)^{2}=\|x-W_{j}\|^{2}=\|W_{j}\|^{2}-2\sum _{{i= 1}}^{m}w_{{ji}}x_{i}+\|x\|^{2}

(iată lungimea euclidiană a vectorului: ). Ultimul termen este același pentru toți neuronii, deci nu este necesar să găsiți cel mai apropiat punct. Problema se reduce la găsirea numărului celor mai mari dintre valorile funcțiilor liniare: $\|y\|$ $\|y\|^{2}=\sum _{i}y_{i}^{2}$ $\|x\|^{2}$

j_{{\max }}={{\rm {arg}}}\max _{{j}}\left\{\sum _{{i=1}}^{m}w_{{ji}}x_ {i}-{\frac {1}{2}}\|W_{j}\|^{2}\dreapta\}.

Astfel, coordonatele punctului coincid cu greutățile neuronului liniar al stratului Kohonen (cu valoarea coeficientului de prag ). $W_{j}=(w_{{j1}},...w_{{jm}})$ $w_{{j0}}=-\|W_{j}\|^{2}/2$

Dacă sunt date puncte , atunci spațiul -dimensional este împărțit în poliedrele Voronoi-Dirichlet corespunzătoare : poliedrul este format din puncte care sunt mai aproape decât de altele ( ) [6] . $W_{j}=(w_{{j1}},...w_{{jm}})$ $m$ $V_{j}$ $V_{j}$ $W_j$ $W_{k}$ $k\neq j$

Rețele de cuantizare vectorială

Problema cuantizării vectoriale cu vectori de cod pentru un set dat de vectori de intrare este pusă ca problema minimizării distorsiunii în timpul codificării, adică la înlocuirea fiecărui vector din vectorul de cod corespunzător. În versiunea de bază a rețelelor Kohonen, se utilizează metoda celor mai mici pătrate, iar distorsiunea este calculată prin formula $k$ $W_j$ $S$ $S$ $D$

D=\sum _{{j=1}}^{k}\sum _{{x\in K_{j}}}\|x-W_{j}\|^{2},

unde constă din acele puncte care sunt mai aproape decât de altele ( ). Cu alte cuvinte, constă din acele puncte codificate de vectorul de cod . $K_{j}$ $x\în S$ $W_j$ $W_{l}$ $l\neq j$ $K_{j}$ $x\în S$ $W_j$

Dacă populația este dată și stocată în memorie, atunci alegerea standard în formarea rețelei Kohonen corespunzătoare este metoda K-means . Aceasta este metoda de împărțire: $S$

cu o alegere dată de vectori de cod (sunt vectorii de greutate ai rețelei), prin minimizare găsim mulțimi - sunt formate din acele puncte care sunt mai aproape de altele decât de altele ; $W_j$ $D$ $K_{j}$ $x\în S$ $W_j$ $W_{l}$
cu o partiție dată în mulțimi, prin minimizare găsim pozițiile optime ale vectorilor de cod - pentru estimarea celor mai mici pătrate, acestea sunt pur și simplu mediile aritmetice: $S$ $K_{j}$ $D$ $W_j$

W_{j}={\frac {1}{|K_{j}|}}\sum _{{x\in K_{j}}}x,

unde este numărul de elemente din . $|K_{j}|$ $K_{j}$

În continuare, repetăm. Această metodă de împărțire converge într-un număr finit de pași și oferă un minim local de distorsiune.

Dacă, de exemplu, setul nu este predeterminat sau din anumite motive nu este stocat în memorie, atunci metoda online este utilizată pe scară largă. Vectorii semnalului de intrare sunt procesați unul câte unul, pentru fiecare dintre ei găsindu-se cel mai apropiat vector de cod („câștigătorul”, care „ia tot”) . După aceea, acest vector de cod este recalculat conform formulei $S$ $X$ $W_{{j(x)}}$

W_{{j(x)}}^{{{\rm {nou}}}}=W_{{j(x)}}^{{{\rm {vechi}}}}(1-\theta)+ x\theta ,

unde este pasul de învățare. Restul vectorilor de cod nu se modifică la acest pas. $\theta \in(0,1)$

Pentru a asigura stabilitatea, se folosește o metodă online cu o rată de învățare în declin: dacă este numărul de pași de învățare, atunci . Funcția este aleasă în așa fel încât monoton la și astfel încât seria diverge, de exemplu, . $T$ $\theta =\theta (T)$ $\theta (T)>0$ $\theta (T)\la 0$ $T\to \infty$ $\sum _{{T=1}}^{{\infty }}\theta (T)$ $\theta (T)=\theta _{0}/T$

Cuantificarea vectorială este o operație mult mai generală decât gruparea , deoarece clusterele trebuie separate unele de altele, în timp ce seturile pentru vectori de cod diferiți nu sunt neapărat clustere separate. Pe de altă parte, dacă există clustere separabile, cuantizarea vectorială le poate găsi și le poate codifica diferit. $K_{j}$ $W_j$

Hărțile auto-organizate ale lui Kohonen

Idee și algoritm de învățare

Problema cuantizării vectoriale constă, în esență, în cea mai bună aproximare a întregului set de vectori de date prin vectori de cod . Hărțile Kohonen auto-organizate aproximează, totuși, datele, cu o structură suplimentară în setul de vectori de cod ( ing. cod.book ). Se presupune că un anumit tabel simetric de „măsuri de vecinătate” (sau „măsuri de proximitate”) de noduri este specificat a priori : pentru fiecare pereche ( ) se determină un număr ( ), în timp ce elementele diagonale ale tabelului de proximitate sunt egale cu unul ( ). $k$ $W_j$ $j,l$ $j,l=1,...k$ $\eta _{{jl}}$ $0\leq \eta _{{jl}}\leq 1$ $\eta _{{jj}}=1$

Vectorii semnalului de intrare sunt procesați unul câte unul, pentru fiecare dintre ei găsindu-se cel mai apropiat vector de cod („câștigătorul”, care „ia tot”) . După aceea, toți vectorii de cod pentru care sunt recalculați prin formula $X$ $W_{{j(x)}}$ $W_{l}$ $\eta _{{j(x)l}}\neq 0$

W_{l}^{{{\rm {nou}}}}=W_{l}^{{{\rm {vechi}}}}(1-\eta _{{j(x)l}}\theta )+x\eta _{{j(x)l}}\theta ,

unde este pasul de învățare. Vecinii vectorului cod câștigător (conform tabelului de proximitate dat a priori) sunt deplasați în aceeași direcție cu acest vector, proporțional cu măsura proximității. $\theta \in(0,1)$

Cel mai adesea, un tabel de vectori de cod este reprezentat ca un fragment al unei rețele pătrate pe un plan, iar măsura de proximitate este determinată pe baza distanței euclidiene pe plan.

Hărțile auto-organizate ale lui Kohonen servesc în primul rând pentru vizualizare și analiză inițială („inteligence”) a datelor [7] . Fiecare punct de date este mapat la vectorul de cod corespunzător din rețea. Așa se obține o reprezentare a datelor pe un plan („ data map ”). Pe această hartă pot fi afișate multe straturi: cantitatea de date care se încadrează în noduri (adică „densitatea datelor”), diverse caracteristici ale datelor și așa mai departe. La afișarea acestor straturi, aparatul de sisteme de informații geografice (GIS) este util. În GIS, harta geografică servește ca substrat pentru afișarea straturilor de informații . O hartă de date este un substrat pentru un set de date în mod inerent arbitrar. Harta de date servește ca un substitut pentru harta geografică în cazul în care o hartă geografică pur și simplu nu există. Diferența fundamentală este următoarea: pe o hartă geografică, obiectele învecinate au coordonate geografice similare ; pe o hartă de date, obiectele similare au proprietăți similare. Folosind o hartă de date, puteți vizualiza datele în timp ce aplicați informații însoțitoare pe substrat (semnături, adnotări, atribute, colorări de informații) [7] . Harta servește și ca model de date de informații . Poate fi folosit pentru a completa golurile de date. Această capacitate este folosită, de exemplu, pentru a rezolva probleme de prognoză .

Hărți auto-organizate și varietăți principale

Ideea hărților de auto-organizare este foarte atractivă și a dat naștere la o mulțime de generalizări, totuși, strict vorbind, nu știm ce construim: o hartă este rezultatul unui algoritm și nu are un separat definiție („obiect”). Există, totuși, o idee teoretică similară - varietăți principale [8 ] . Aceste varietăți generalizează componentele principale liniare . Ele au fost introduse ca linii sau suprafețe care trec prin „mijlocul” distribuției datelor, folosind condiția de autoconsistență : fiecare punct din varietatea principală este așteptarea condiționată a acelor vectori pe care sunt proiectați (presupunând , unde este proiecția vecinătății operator activat ), $X$ $M$ $z$ $X$ $x=P(z)$ $P$ $M$ $M$

x={\mathbf {E}}(z|P(z)=x).

Hărțile auto-organizate pot fi considerate aproximări ale varietăților principale și sunt populare ca atare [9] .

Hărți elastice

O metodă de aproximare a datelor multidimensionale bazată pe minimizarea „energiei de deformare elastică” a unei hărți cufundate în spațiul de date a fost propusă de A. N. Gorban în 1996 și ulterior dezvoltată de acesta împreună cu A. Yu. Zinoviev, A. A. Rossiev și A. A. Pitenko [7] . Metoda se bazează pe analogia dintre colectorul principal și o membrană elastică și o placă elastică. În acest sens, este o dezvoltare a ideii clasice de spline (deși hărțile elastice nu sunt spline multidimensionale).

Fie dat un set de vectori de intrare . La fel ca rețelele de cuantizare vectorială și hărțile de auto-organizare, o hartă elastică este reprezentată ca un set de vectori de cod (noduri) în spațiul semnalului. Setul de date este împărțit în clase formate din acele puncte care sunt mai aproape decât de altele ( ). Distorsiuni de codificare $S$ $W_j$ $S$ $K_{j}$ $x\în S$ $W_j$ $W_{l}$ $l\neq j$ $D$

D=\sum _{{j=1}}^{k}\sum _{{x\in K_{j}}}\|x-W_{j}\|^{2},

poate fi interpretat ca energia totală a arcurilor de rigiditate unitară care conectează vectorii de date cu vectorii de cod corespunzători.

O structură suplimentară este stabilită pe setul de noduri: unele perechi sunt conectate prin „legături elastice”, iar unele triple sunt combinate în „costii de rigidizare”. Să notăm mulţimea de perechi legate prin legături elastice ca , iar mulţimea de triple care alcătuiesc rigidizările ca . De exemplu, într-o zăbrele pătrată, cele mai apropiate noduri (atât pe verticală, cât și pe orizontală) sunt conectate prin legături elastice, iar rigidizările sunt formate din triple verticale și orizontale ale celor mai apropiate noduri. Energia de deformare a hărții constă din doi termeni: $E$ $G$

energie de tracțiune

U_{{E}}=\lambda \sum _{{(W_{i},W_{j})\in E}}\|W_{i}-W_{j}\|^{2};

energie de încovoiere

U_{{G}}=\mu \sum _{{(W_{i},W_{j},W_{l})\in G}}\|W_{i}-2W_{j}+W_{l }\|^{2};

unde sunt modulele corespunzătoare de elasticitate. $\lambda ,\mu$

Sarcina de a construi o hartă elastică este de a minimiza funcționalitatea

U=D+U_{{E}}+U_{{G}};

Dacă împărțirea mulțimii de vectori de intrare în clase este fixă, atunci minimizarea este o problemă liniară cu o matrice rară de coeficienți. Prin urmare, ca și pentru rețelele de cuantizare vectorială, se aplică metoda de divizare: fix - căutare - căutare date - căutare date - ... Algoritmul converge la un minim (local) . $S$ $K_{j}$ $U$ $\{W_{j}\}$ $\{K_{j}\}$ $\{K_{j}\}$ $\{W_{j}\}$ $\{W_{j}\}$ $\{K_{j}\}$ $U$

Metoda hărților elastice permite rezolvarea tuturor problemelor pe care le rezolvă hărțile auto-organizate ale lui Kohonen, cu toate acestea, are o mai mare regularitate și predictibilitate. Pe măsură ce modulul de îndoire crește , hărțile elastice se apropie de componentele principale liniare. Pe măsură ce ambii module elastici scad, ei se transformă în rețele de cuantizare vectorială Kohonen. Hărțile elastice sunt utilizate în prezent pe scară largă pentru analiza multivariată a datelor în bioinformatică . [10] Software-ul corespunzător este publicat și disponibil gratuit pe site-ul Institutului Curie ( Paris ) [11] [12] . $\mu$

Figura arată rezultatele vizualizării datelor pentru cancerul de sân . Aceste date conțin 286 de exemple care indică nivelul de exprimare a 17816 gene [13] . Ele sunt disponibile online ca un caz de testare clasic pentru vizualizarea și maparea datelor [14] .

Rețele de cuantizare vectorială supravegheată

Problema clasificării este în curs de rezolvare . Numărul de clase poate fi oricare. Prezentăm algoritmul pentru două clase și . Inițial, pentru antrenarea sistemului, se primesc date, a căror clasă este cunoscută. Sarcină: găsiți pentru clasă un anumit număr de vectori de cod , iar pentru clasă un număr (eventual diferit) de vectori de cod în așa fel încât rețeaua Kohonen rezultată cu vectori de cod ( combinăm ambele familii) să clasifice după următoarele regula de decizie: ${\mathbf {A} }$ ${\mathbf {B} }$ ${\mathbf {A} }$ $k_{\mathbf {A} }$ $W_{j}^{\mathbf {A} }$ ${\mathbf {B} }$ $k_{\mathbf {B} }$ $W_{l}^{\mathbf {B} }$ $k_{\mathbf {A} }+k_{\mathbf {B} }$ $W_{j}^{\mathbf {A} }$ $W_{l}^{\mathbf {B} }$

dacă pentru vectorul semnalelor de intrare cel mai apropiat vector de cod („câștigătorul”, care „prea totul” în stratul Kohonen) aparține familiei , atunci aparține clasei ; dacă vectorul de cod cel mai apropiat aparține familiei , atunci acesta aparține clasei .

X

\{W_{j}^{\mathbf {A} }\}

X

{\mathbf {A} }

X

\{W_{l}^{\mathbf {B} }\}

X

{\mathbf {B} }

Un politop Voronoi-Dirichlet este asociat cu fiecare vector de cod al familiei comasate . Notăm aceste poliedre , respectiv. O clasă din spațiul semnalului, conform regulii de decizie, corespunde unei uniuni , iar o clasă corespunde unei uniuni . Geometria unor astfel de uniuni de poliedre poate fi foarte complexă (a se vedea figura pentru un exemplu de posibilă împărțire în clase). $\{W_{j}^{\mathbf {A} }\}\cup \{W_{l}^{\mathbf {B} }\)$ $V_{j}^{\mathbf {A} }$ $V_{l}^{\mathbf {B} }$ ${\mathbf {A} }$ $\cup _{j}V_{j}^{\mathbf {A} }$ ${\mathbf {B} }$ $\cup _{l}V_{l}^{\mathbf {B} }$

Regulile de învățare a rețelei online se bazează pe regula de bază a rețelei de cuantizare vectorială. Fie intrarea sistemului un vector semnal , a cărui clasă este cunoscută. Dacă este clasificat corect de către sistem, atunci vectorul de cod corespunzător este ușor deplasat către vectorul semnal ("recompensă") $X$ $X$ $W$

W^{{{\rm {nou))))=W^{({\rm {vechi))))(1-\theta )+x\theta ,

Dacă este clasificat incorect, atunci vectorul de cod corespunzător este ușor deplasat în direcția opusă semnalului („pedeapsă”) $X$ $X$ $W$

W^{{{\rm {nou))))=W^{({\rm {vechi))))(1+\theta )-x\theta ,

unde este pasul de învățare. Pentru a asigura stabilitatea, se folosește o metodă online cu o rată de învățare în declin. De asemenea, este posibil să folosiți diferiți pași pentru a „încuraja” decizia corectă și pentru a „pedepsi” pe cea greșită. $\theta \in(0,1)$

Aceasta este cea mai simplă versiune (de bază) a metodei [15] . Există multe alte modificări.

Note

↑ Câte tipuri de rețele Kohonen există? Arhive de întrebări frecvente pe Internet. Educație online . Preluat la 31 august 2008. Arhivat din original la 11 mai 2008. (nedefinit)
^ Hecht-Nielsen, R. (1990), Neurocomputing, Reading, MA: Addison-Wesley, ISBN 0-201-09355-3 .
↑ Kohonen, T. (1989/1997/2001), Hărți auto-organizate, Berlin-New York: Springer-Verlag. Prima ediție 1989, a doua a treia ediție 1997, ediție extinsă 2001, ISBN 0-387-51387-6 , ISBN 3-540-67921-9
↑ Kohonen, T. (1988), Learning Vector Quantization, Neural Networks, 1 (suppl 1), 303.
↑ Wasserman, F. Neurocomputer Engineering: Theory and Practice = Neural Computing. teorie și practică. — M .: Mir, 1992. — 240 p. — ISBN 5-03-002115-9 . Copie arhivată (link indisponibil) . Consultat la 1 septembrie 2008. Arhivat din original la 30 iunie 2009. (nedefinit)
↑ Diagramele Voronoi și Delaunay interactive în timp real cu cod sursă . Consultat la 1 septembrie 2008. Arhivat din original la 1 septembrie 2008. (nedefinit)
↑ 1 2 3 Zinoviev A. Yu. Vizualizarea datelor multidimensionale . - Krasnoyarsk: Ed. Universitatea Tehnică de Stat din Krasnoyarsk, 2000. - 180 p.
↑ Disertație de T. Hastie : Hastie T. , Curbe și suprafețe principale Arhivat 21 februarie 2017 la Wayback Machine , teză de doctorat, Centrul de accelerare liniară Stanford, Universitatea Stanford, Stanford, California, SUA, noiembrie 1984. De asemenea, PCA online Arhivat pe 7 noiembrie 2018 la Wayback Machine . Studiul principalelor varietăți a început cu această lucrare.
↑ Yin H. Learning nonlinear principal manifolds by self-organizing maps Arhivat 6 martie 2019 la Wayback Machine , În: Gorban AN et al (Eds.), LNCSE 58, Springer, 2007. ISBN 978-3-540-73749- 0
↑ Gorban AN, Kegl B., Wunsch D., Zinovyev AY (eds.), Principal Manifolds for Data Visualization and Dimension Reduction , Series: Lecture Notes in Computational Science and Engineering 58, Springer, Berlin - Heidelberg - New York, 2007, XXIV, 340 p. 82ilus. ISBN 978-3-540-73749-0 (și, de asemenea, online Arhivat 16 martie 2019 la Wayback Machine ).
↑ VIMIDA: un applet Java pentru vizualizarea datelor MIcroarray . Consultat la 6 septembrie 2008. Arhivat din original la 9 octombrie 2008. (nedefinit)
↑ ViDaExpert: un software pentru vizualizarea datelor vectoriale multidimensionale . Consultat la 6 septembrie 2008. Arhivat din original la 26 aprilie 2012. (nedefinit)
↑ Wang Y., Klijn JG, Zhang Y., Sieuwerts AM, Look MP, Yang F., Talantov D., Timmermans M., Meijer-van Gelder ME, Yu J. și colab. Profiluri de expresie genică pentru a prezice metastazele la distanță ale cancerului mamar primar cu ganglioni limfatici negativi. Lancet 365 (2005), 671-679.
↑ Principalele manifolds for data cartography and dimension reduction, Leicester, Marea Britanie, august 2006. O pagină web cu seturi de date de microarrays de testare oferite participanților la workshop Arhivat la 24 septembrie 2008 la Wayback Machine .
↑ Fundamentele DLVQ . Consultat la 7 noiembrie 2018. Arhivat din original la 19 decembrie 2018. (nedefinit)

Vezi și

Carte de colorat grafic

Tipuri de rețele neuronale artificiale

Rețea feed-forward ( Rețeaua de funcții de bază radială )
Perceptron cu un singur strat
Perceptron multistrat ( Rosenblatt • Rumelhart )
Rețeaua Hopfield
lanțul Markov
Masina Boltzmann
Mașină Boltzmann limitată
Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variational autoencoder )
Rețea profundă de încredere
Rețeaua neuronală convoluțională
Rețeaua neuronală convoluțională profundă
Implementarea rețelei neuronale
Deep Convolutional Inverse Graphic Network
Rețeaua adversară generativă
Rețea neuronală recurentă
Rețele neuronale recursive
memorie pe termen lung și scurt
Bloc recurent controlat
Neural Turing Machines
Rețea bidirecțională ( Rețea neuronală recurentă bidirecțională • Rețea bidirecțională cu memorie lungă pe termen scurt • Neuroni recurenți controlați bidirecționali )
Rețea reziduală adâncă
Rețea de ecou neuronal
Metoda de învățare extremă
Metoda stărilor instabile
Suport mașină vectorială
Rețeaua Kohonen
Harta auto-organizată a lui Kohonen
Rețea neuronală capsule
Memoria asociativă pe rețelele neuronale

Învățare automată și extragerea datelor
Sarcini	Problema de clasificare Învățați fără profesor Învățare asistată de profesor Analiza regresiei AutoML Regulile de asociere Extragerea caracteristicilor Antrenamentul trăsăturilor Antrenament de clasare Derivarea gramaticală Învățare online
Învățarea cu un profesor	metoda k-cel mai apropiat vecin Clasificator naiv Bayes arborele de decizie Suport mașină vectorială Regresie liniara Regresie logistică perceptron Ansambluri de modele Bagare stimularea pădure la întâmplare Metoda vectorială relevantă
analiza grupului	metoda k-means Metoda de grupare fuzzy Gruparea ierarhică algoritmul EM MESTEACĂN VINDECA DBSCAN OPTICA Schimbare medie
Reducerea dimensionalității	Analiza factorilor Metoda componentei principale CCA ICA LDA Expansiunea nenegativă a matricei t-SNE
Prognoza structurală	Modelul probabilistic grafic Rețeaua bayesiană Modelul Markov ascuns CRF
Detectarea anomaliilor	metoda k-cel mai apropiat vecin Nivelul de emisie local
Modele grafice probabilistice	Rețeaua bayesiană Rețeaua Markov Modelul Markov ascuns
Rețele neuronale	Mașină Boltzmann limitată hartă de auto-organizare Funcția de activare Sigmoid softmax Funcția de bază radială Metoda de propagare înapoi Invatare profunda Perceptron multistrat Rețea neuronală recurentă memorie pe termen lung și scurt Bloc recurent controlat Rețeaua neuronală convoluțională U-Net Autoencoder
Consolidarea învățării	procesul Markov Ecuația Bellman Algoritmul lacom Q-learning SARSA Diferența temporală (TD)
Teorie	Teoria Vapnik-Chervonenkis Dilema părtinire-dispersie Teoria învățării computaționale Minimizarea riscului empiric Occam învață Învățarea PAC Teoria învăţării statistice
Reviste și conferințe	NeurIPS ICML ML JMLR ArXiv:cs.LG