Harta auto-organizată a lui Kohonen

Harta de auto-organizare a lui Kohonen ( Harta de auto -organizare în engleză   - SOM) este o rețea neuronală nesupravegheată care îndeplinește sarcina de vizualizare și grupare . Ideea unei rețele a fost propusă de omul de știință finlandez T. Kohonen . Este o metodă de proiectare a unui spațiu multidimensional într-un spațiu cu o dimensiune inferioară (cel mai adesea, bidimensională), este folosită și pentru rezolvarea problemelor de modelare, prognozare, identificarea unor seturi de caracteristici independente, căutarea de modele în seturi mari de date. , dezvoltarea de jocuri pe calculator, cuantificarea culorilor la numărul lor limitat de indici din paleta de culori: la imprimarea pe o imprimantă și mai devreme pe un PC sau pe set-top box-uri cu un afișaj cu un număr redus de culori, pentru arhivatori [scop general] sau codecuri video etc. Este una dintre versiunile rețelelor neuronale ale lui Kohonen .

Istorie

Metoda a fost propusă de omul de știință finlandez Teuvo Kohonen în 1984. Există multe modificări ale modelului original.

Structura rețelei

O hartă auto-organizată este formată din componente numite noduri sau neuroni. Numărul lor este stabilit de analist . Fiecare dintre noduri este descris de doi vectori. Primul este așa-numitul. un vector de greutate m care are aceeași dimensiune ca și intrarea. Al doilea este vectorul r , care este coordonatele nodului de pe hartă. Harta Kohonen este afișată vizual folosind celule dreptunghiulare sau hexagonale; acesta din urmă este folosit mai des, deoarece în acest caz distanțele dintre centrele celulelor adiacente sunt aceleași, ceea ce crește corectitudinea vizualizării hărții.

Inițial, dimensiunea datelor de intrare este cunoscută; într-un fel, versiunea inițială a hărții este construită pe ea. În timpul procesului de învățare, vectorii greutate nod se apropie de datele de intrare. Pentru fiecare observație (eșantion), se selectează cel mai asemănător nod din punct de vedere al vectorului de greutate, iar valoarea vectorului său de greutate se apropie de observație. De asemenea, vectorii de greutate ai mai multor noduri situate în apropiere se apropie de observație, așa că dacă două observații au fost similare în setul de date de intrare, nodurile apropiate le vor corespunde pe hartă. Procesul de învățare ciclică, iterând peste datele de intrare, se termină atunci când harta atinge o eroare acceptabilă (predeterminată de analist) sau după un număr specificat de iterații. Astfel, ca rezultat al antrenamentului, harta Kohonen clasifică datele de intrare în clustere și afișează vizual datele de intrare multidimensionale într-un plan bidimensional, distribuind vectori de caracteristici apropiate în celulele învecinate și colorându-i în funcție de parametrii analizați ai neuronilor.

Ca rezultat al algoritmului, se obțin următoarele hărți:

• Harta de intrare a neuronilor  — vizualizează structura internă a datelor de intrare prin ajustarea greutăților neuronilor hărții. De obicei, se folosesc mai multe hărți de intrare, fiecare afișând una dintre ele și este colorată în funcție de greutatea neuronului. Pe una dintre hărți, o anumită culoare indică zona, care include aproximativ aceleași intrări pentru exemplele analizate.
• Harta de ieșire a neuronilor  - vizualizează un model al poziției relative a exemplelor de intrare. Zonele conturate pe hartă sunt grupuri formate din neuroni cu valori de ieșire similare.
• hărțile speciale  sunt o hartă a clusterelor obținute ca urmare a aplicării algoritmului hărții de auto-organizare Kohonen, precum și a altor hărți care le caracterizează. [unu]

Funcționare în rețea

• Inițializarea hărții, adică alocarea inițială a vectorilor de greutate pentru noduri.
• Ciclu:
  • Selectarea următoarei observații (un vector dintr-un set de intrări).
  • Găsirea celei mai bune unități de potrivire pentru aceasta (BMU sau Winner) - un nod de pe hartă, al cărui vector de greutate este cel mai puțin diferit de observație (în metrica stabilită de analist, cel mai adesea, euclidian).
  • Determinarea numărului de vecini ai BMU și antrenament - modificarea vectorilor de greutate ai BMU și ai vecinilor săi pentru a le aproxima la observație.
  • Definiția map error.

Algoritm

• Inițializare

Există trei modalități cele mai comune de a seta greutățile inițiale ale nodurilor:

• • Setarea tuturor coordonatelor prin numere aleatorii.
  • Atribuirea valorii unei observații aleatorii de la intrare la vectorul de greutate.
  • Selectarea vectorilor de greutate din spațiul liniar acoperit de componentele principale ale setului de date de intrare.
• Ciclu

Fie  numărul iterației (inițializarea corespunde numărului 0).

• • Alegeți o observație arbitrară dintr-un set de date de intrare.
  • Găsiți distanțele de la acesta la vectorii de greutate ai tuturor nodurilor hărții și determinați cel mai apropiat nod din punct de vedere al greutății . Acesta este BMU sau Winner. Conditie pentru :

, pentru orice , unde  este vectorul de greutate al nodului . Dacă există mai multe noduri care îndeplinesc condiția, BMU este selectată aleatoriu dintre ele.

• • Utilizați funcția (funcția de vecinătate) pentru a determina vecinii și pentru a modifica vectorii de greutate ale acestora.
    • Exercițiu

Funcția determină „măsura de vecinătate” a nodurilor și modificarea vectorilor de greutate. Ar trebui să-și rafineze treptat valorile, mai întâi la un număr mai mare de noduri și mai puternice, apoi la unul mai mic și mai slab. Adesea, o funcție Gaussiană este utilizată ca funcție de vecinătate: unde  este un factor de antrenament care scade monoton cu fiecare iterație ulterioară (adică determină aproximarea valorii vectorilor de greutate ai BMU și vecinilor săi la observație; cu cât treapta este mai mare, cu atât rafinamentul este mai mic); ,  - coordonatele nodurilor și pe hartă;  — factorul care reduce numărul de vecini cu iterații scade monoton. Parametrii și caracterul lor de scădere sunt stabiliți de analist. O modalitate mai ușoară de a defini o funcție de vecinătate: , dacă se află în vecinătatea unei raze predeterminate de analist, iar 0 în caz contrar. Funcția este egală pentru BMU și scade cu distanța față de BMU.

• • • Schimbarea vectorilor de greutate

Modificați vectorul de greutate conform formulei: Acea. vectorii de greutate ai tuturor nodurilor care sunt vecine cu BMU se apropie de observația luată în considerare.

• • Calcularea erorilor pe hartă

De exemplu, ca medie aritmetică a distanțelor dintre observații și vectorii de greutate ai BMU-urilor corespunzătoare: , unde N este numărul de elemente ale setului de date de intrare.

Caracteristicile modelului

Rezistenta la date zgomotoase, invatare rapida si nesupravegheata, capacitatea de a simplifica datele de intrare multivariate cu vizualizare. [2]

Hărțile Kohonen auto-organizate pot fi utilizate pentru analiza clusterului numai dacă numărul de clustere este cunoscut în prealabil [2] .

Un dezavantaj important este că rezultatul final al activității rețelelor neuronale depinde de setările inițiale ale rețelei. Pe de altă parte, rețelele neuronale pot aproxima teoretic orice funcție continuă, ceea ce permite cercetătorului să nu facă în avans nicio ipoteză despre model [2] .

Vezi și

• Rețeaua neuronală a lui Kohonen
• card elastic

Note

1. ↑ Chubukova, 2000 , p. 140.
2. ↑ 1 2 3 Manzhula, 2011 .

Literatură

• T. Kohonen , Self-Organizing Maps (Third Extended Edition), New York, 2001, 501 pagini. ISBN 3-540-67921-9
• Debock G., Kohonen T. Analiza datelor financiare cu hărți auto-organizate, Alpina Publisher, 2001, 317 p. ISBN 5-89684-013-6
• Zinoviev A. Yu. Vizualizarea datelor multidimensionale . - Krasnoyarsk: Ed. Universitatea Tehnică de Stat din Krasnoyarsk, 2000. - 180 p.
• Chubukova I.A. extragerea datelor . - 2000. - 326 p.
• Manzhula V.G., Fedyashov D.S. Rețelele neuronale Kohonen și rețelele neuronale fuzzy în mineritul de date . — 2011.
• Lakhmi C. Jain; NM Martin Fuziunea rețelelor neuronale, a sistemelor fuzzy și a algoritmilor genetici: aplicații industriale. — CRC Press, CRC Press LLC, 1998

Link -uri

• SOM-Research pe site-ul web al Universității de Tehnologie din Helsinki
• WEBSOM , un proiect de rețea Kohonen
• PCA, SOM și GSOM: applet , E. M. Mirkes și Universitatea din Leicester. Analiza componentelor principale, hărți de auto-organizare și hărți de auto-organizare în creștere. Capitolul unui manual online cu programe care vă permit să efectuați studii comparative.
• Prelegere despre hărți Kohonen auto-organizate

Tipuri de rețele neuronale artificiale

Rețea feed-forward ( Rețeaua de funcții de bază radială ) Perceptron cu un singur strat Perceptron multistrat ( Rosenblatt • Rumelhart ) Rețeaua Hopfield lanțul Markov Masina Boltzmann Mașină Boltzmann limitată Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variational autoencoder ) Rețea profundă de încredere Rețeaua neuronală convoluțională Rețeaua neuronală convoluțională profundă Implementarea rețelei neuronale Deep Convolutional Inverse Graphic Network Rețeaua adversară generativă Rețea neuronală recurentă Rețele neuronale recursive memorie pe termen lung și scurt Bloc recurent controlat Neural Turing Machines Rețea bidirecțională ( Rețea neuronală recurentă bidirecțională • Rețea bidirecțională cu memorie lungă pe termen scurt • Neuroni recurenți controlați bidirecționali ) Rețea reziduală adâncă Rețea de ecou neuronal Metoda de învățare extremă Metoda stărilor instabile Suport mașină vectorială Rețeaua Kohonen Harta auto-organizată a lui Kohonen Rețea neuronală capsule Memoria asociativă pe rețelele neuronale

Învățare automată și extragerea datelor
Sarcini	Problema de clasificare Învățați fără profesor Învățare asistată de profesor Analiza regresiei AutoML Regulile de asociere Extragerea caracteristicilor Antrenamentul trăsăturilor Antrenament de clasare Derivarea gramaticală Învățare online
Învățarea cu un profesor	metoda k-cel mai apropiat vecin Clasificator naiv Bayes arborele de decizie Suport mașină vectorială Regresie liniara Regresie logistică perceptron Ansambluri de modele Bagare stimularea pădure la întâmplare Metoda vectorială relevantă
analiza grupului	metoda k-means Metoda de grupare fuzzy Gruparea ierarhică algoritmul EM MESTEACĂN VINDECA DBSCAN OPTICA Schimbare medie
Reducerea dimensionalității	Analiza factorilor Metoda componentei principale CCA ICA LDA Expansiunea nenegativă a matricei t-SNE
Prognoza structurală	Modelul probabilistic grafic Rețeaua bayesiană Modelul Markov ascuns CRF
Detectarea anomaliilor	metoda k-cel mai apropiat vecin Nivelul de emisie local
Modele grafice probabilistice	Rețeaua bayesiană Rețeaua Markov Modelul Markov ascuns
Rețele neuronale	Mașină Boltzmann limitată hartă de auto-organizare Funcția de activare Sigmoid softmax Funcția de bază radială Metoda de propagare înapoi Invatare profunda Perceptron multistrat Rețea neuronală recurentă memorie pe termen lung și scurt Bloc recurent controlat Rețeaua neuronală convoluțională U-Net Autoencoder
Consolidarea învățării	procesul Markov Ecuația Bellman Algoritmul lacom Q-learning SARSA Diferența temporală (TD)
Teorie	Teoria Vapnik-Chervonenkis Dilema părtinire-dispersie Teoria învățării computaționale Minimizarea riscului empiric Occam învață Învățarea PAC Teoria învăţării statistice
Reviste și conferințe	NeurIPS ICML ML JMLR ArXiv:cs.LG