Gaz neural

Expansiunea gazului neural este un algoritm care permite gruparea adaptivă a datelor de intrare, adică nu numai să împartă spațiul în grupuri, ci și să determine numărul necesar al acestora pe baza caracteristicilor datelor în sine. Un gaz neural în expansiune nu necesită informații a priori despre date, cum ar fi o estimare a numărului de clustere sau a formei clusterelor.” [1] Aceasta este o nouă clasă de mecanisme de calcul. Numărul și locația neuronilor artificiali în spațiul caracteristic nu este predeterminat, ci este rezultatul unui calcul în procesul de antrenament a modelelor pe baza datelor introduse la intrare [2] . În acest model, vecinătatea nodurilor nu este fixă, ci se schimbă dinamic pe măsură ce gruparea se îmbunătățește. Variabilele nu sunt doar relații de vecinătate, ci și numărul de neuroni cluster.

Istoricul creației

Există tehnici care sunt capabile să selecteze cele mai asemănătoare obiecte din spațiu și să formeze grupuri din ele. În timpul analizei, setul de obiecte este organizat în subseturi în funcție de similitudinea măsurată. De obicei, metodele se bazează pe o schemă standard: optimizarea relației dintre aranjarea spațială a vectorilor și un set de obiecte, astfel încât fiecare vector determină structura clusterelor . Cu toate acestea, cele mai multe tehnici au două dezavantaje semnificative: analiza depinde de un număr dat de clustere, iar împărțirea în clustere este localizată în timp. Toate metodele moderne de clustering erau statice și nu puteau adapta rezultatele, dacă la date erau adăugate date noi, era necesară reexecutarea algoritmului.

Descrierea algoritmului

Implementarea algoritmului începe cu doi neuroni. Apoi are loc o schimbare secvențială (de obicei în direcția creșterii) a numărului lor, în același timp, se creează conexiuni între neuroni care corespund cel mai bine distribuției vectorilor de intrare. Fiecărui neuron i se atribuie o variabilă internă care acumulează o „eroare locală”. Conexiunile dintre noduri sunt descrise de o variabilă numită „vârstă” [3] .

În primul rând, sunt create două noduri (în continuare, nod=neuron) cu vectori de greutate permise de distribuția vectorilor de intrare și a valorilor de eroare locale de zero;
Nodurile sunt conectate printr-o legătură care poate fi folosită pentru a seta vârsta. În stadiul inițial, vârsta este 0.
Apoi un vector este alimentat la intrarea rețelei neuronale . ${\vec {X}}$
În etapa următoare, există doi neuroni și , cel mai aproape de ( mai aproape de ), adică noduri cu vectori de greutate și , astfel încât este minimul și este a doua valoare a distanței minime dintre toate nodurile. $S$ $T$ ${\vec {X}}$ $S$ $T$ ${\vec {W_{s}))$ ${\vec {W_{t)})$ $\left\|{\vec {W_{s}}} - {\vec {X}}\right\|$ $\left\|{\vec {W_{t}}}-{\vec {X}}\right\|$
Eroarea locală a celui mai apropiat neuron, câștigătorul, este actualizată și i se adaugă pătratul distanței dintre vectorii și . $S$ ${\vec {W_{s}))$ ${\vec {X}}$ $E_{s}\Rightarrow E_{s}+\left\|{\vec {W_{s}}}-{\vec {X}}\right\|^{2}$
La implementarea acestei proceduri, nodurile cele mai frecvent câștigătoare (numărul maxim de semnale de intrare cad în vecinătatea lor) primesc cea mai mare valoare de eroare. Aceste zone sunt „densificate” în primul rând și acest lucru se întâmplă datorită adăugării de noi noduri.
Neuronul câștigător și toți vecinii săi topologici (adică toți neuronii care au legătură cu câștigătorul) sunt deplasați către vectorul de intrare pe distanțe egale cu fracții și față de cel plin. $S$ $N$ $\varepsilon_{w}$ $\varepsilon_{n}$ ${\vec {W_{s}}}\Rightarrow {\vec {W_{s}}}+\varepsilon _{w}({\vec {W_{s}}}-{\vec {X} })$ ${\vec {W_{n}}}\Rightarrow {\vec {W_{n}}}+\varepsilon _{n}({\vec {W_{n}}}-{\vec {X} })$

Dacă în această etapă nodurile sunt deplasate către vectorul de intrare, atunci câștigătorul tinde să „medieze” poziția sa față de semnalele de intrare situate în vecinătatea sa. În acest caz, cel mai bun neuron „trage” ușor neuronii vecini în direcția semnalului.

Creșteți cu 1 vârsta tuturor conexiunilor care provin de la câștigător . $S$
Dacă cei mai buni doi neuroni și sunt conectați, atunci este necesar să resetați vârsta conexiunii lor. În caz contrar, trebuie să creați o conexiune între ele. $S$ $T$
Ștergeți toate relațiile care sunt mai vechi decât vârsta maximă. Neuronii care nu au conexiuni cu alte noduri sunt eliminați.
Dacă numărul iterației curente este un multiplu de , iar dimensiunea maximă a rețelei nu este atinsă, este necesar să se creeze un nou neuron conform regulilor. În timp, după mai multe cicluri de deplasări, se acumulează informații, pe baza cărora se ia o decizie cu privire la locul în care ar trebui adăugat un nou neuron. În timpul acestui proces, erorile variabile ale tuturor neuronilor din strat sunt corectate. Drept urmare, rețeaua „uită” vechii vectori de intrare și răspunde mai bine la cei noi. Devine posibilă utilizarea gazului neural în expansiune pentru a ajusta rețeaua neuronală la distribuțiile care se deplasează încet ale semnalelor de intrare. $\lambda$ $R$
Găsiți neuronul cu eroarea locală maximă. $U$
Dintre vecini , găsiți neuronul cu cea mai mare eroare. $U$ $V$
Creați un nod „la mijloc” între și : $R$ $U$ $V$ ${\vec {W_{r}}}={\frac {{\vec {W_{u}}}+{\vec {W_{v}}}}{2}}$
Înlocuiți relația dintre și cu relația dintre și , și . $U$ $V$ $U$ $R$ $R$ $V$
Reduceți erorile neuronilor și setați valoarea erorii neuronilor . $U$ $V$ $R$ $E_{u}\Rightarrow E_{u}*a$ $E_{v}\Rightarrow E_{v}*a$ $E_{r}\Rightarrow E_{u}$
O valoare mare a acestei erori indică faptul că neuronul corespunzător se află în regiunea unui număr mic de neuroni.
De fiecare dată când un neuron cel mai apropiat de el este determinat pentru unul selectat aleatoriu , eroarea locală pentru acesta din urmă este incrementată . $X$ ${\vec {W_{j)}}$ $E j}$ $\left\|{\vec {W_{j}}}-{\vec {X}}\right\|^{2}$

Formular structura datelor

Cercetatorul poate seta el însuși forma structurii cluster, indiferent dacă gruparea va fi efectuată pentru o hipersferă , un hipertub sau un hiperplan . Dacă nu are aceste cunoștințe, atunci datorită valorii propriei matrice de covarianță , puteți determina forma necesară. Dacă structura are cel puțin o valoare proprie mai mică decât pragul ales de utilizator, atunci modelul va fi hiperliniar, în caz contrar structura trebuie considerată ca o varietate neliniară. Testele ulterioare vor arăta dacă modelul are formă de sferă sau tub. Testul pentru sfericitate depinde de îndeplinirea inegalității np/na>ψ, unde np este numărul de vectori din interiorul clusterului, care se găsește folosind teorema Jordan Brauer [4] , iar ap este aria suprafeței cluster, iar ψ este un prag specificat de utilizator. Dacă această inegalitate ia forma np/na<ψ, atunci forma clusterului va fi un „hipertub”. [3]

Distanța de la vectorul X la neuroni în grupuri de diferite forme

Pentru un cluster sub forma unui hipertub, se calculează o măsură a distanței radiale:

unde Aj este o matrice pozitivă, definită, calculată pentru a ține cont de excentricitatea și orientarea hipertubului [5] . Valoarea lui Aj pentru această ecuație este găsită folosind hiperlipsoidul Lowner folosind algoritmul Khachiyan [6] .

Pentru a determina distanțele într-un hiperplan, utilizați următoarea formulă:

unde Aj este o matrice de greutate simetrică definită arbitrar pozitivă. Și bj, k este estimat prin găsirea vectorilor proprii ai nodurilor neuronale ale modelului.

Pentru a determina distanța în hipersferă, trebuie să utilizați formula:

unde wi este fie valoarea medie a vectorilor conținuți în plan.

Vizualizarea datelor

În spațiul 3D, datele sunt foarte ușor de vizualizat. [3] Îl puteți vedea în imagine.

Cu toate acestea, dacă spațiul nostru este mai mare decât tridimensional, atunci vizualizarea datelor este dificilă. Pentru a rezolva această problemă se utilizează o tehnică bazată pe TVA [7] . Esența construcției este că se găsește arborele de întindere minim al modelului. După finalizarea procesului de sortare, structura clusterului poate fi analizată prin pătrate lângă diagonală. În primul rând, în fiecare grafic izolat sunt calculați neuroni diferiți normalizați, perechi. Diferiții neuroni sunt apoi rearanjați pentru a crea cea mai densă distribuție intracluster. Apoi fiecare grup este vopsit în propria sa culoare și plasat de-a lungul diagonalei principale. Relațiile intracluster sunt de asemenea incluse în diagramă, distanța maximă dintre două clustere este indicată cu alb, iar cu negru distanța cea mai mică. Volumul clusterului poate fi adăugat ca o altă dimensiune, aceasta este înălțimea pătratelor.

Exemplu de expansiune a gazului neural

Acest exemplu este oferit pentru a demonstra modul în care sistemul se adaptează atunci când sunt introduse date noi. Baza de date constă din 1050 de obiecte punct. La început, au fost efectuate 5000 de iterații și 75% din informații au intrat în algoritm. După ce o mică parte din 756 de puncte de date au fost introduse în sistem, vectorii neuronali au început să se adapteze pentru a forma distribuția prezentată în figura de mai jos.

După aceea, au fost lansati alți 150 de vectori noi. Acest lucru a condus la formarea unei noi clase sferice, indicată în figura de mai jos:

În ciuda proximității spațiale a clusterelor verzi și magenta, algoritmul a observat o creștere a clusterelor și s-a adaptat la aceste schimbări. În acest caz, restul de 120 de obiecte au fost amestecate în mod repetat între clusterele verzi și magenta. Algoritmul a distribuit ulterior datele între cele două clustere și a păstrat numărul inițial de clustere.

Note

↑ Dicţionar Neural.ru . Data accesului: 15 iunie 2012. Arhivat din original pe 24 iulie 2012. (nedefinit)
↑ Creșterea gazului neural - implementare în limbajul de programare MQL5 . Consultat la 15 iunie 2012. Arhivat din original pe 16 iunie 2012. (nedefinit)
↑ 1 2 3 Isaac J. Sledge, Growing Neural Gas for Temporal Clustering/IEEE, 2008
↑ M. Berg, M. Kreveld, M. Overmars, O. Schwarzkopf, Computational Geometry, Springer-Verlag, New York, 2000.
^ G. Carpenter, „Competitive Learning: From Interactive Activation to Adaptive Resonance”, Cognitive Science, voi. 11, 1987.
^ L. Khachiyan , M. Todd, „On the Complexity of Aproximating the Maximal Inscribed Elipsoid for a Polytope”, Math. Prog., 1993.
↑ J. Keller, I. Sledge, „A Cluster By Any Other Name”, IEEE Proc., NAFIPS, 2007.

Vezi și

T. Martinetz, Neural Gas Network for Vector Organization and application its to time-series prediction/IEEE, voi. 4, 1993
T. Martinetz, Neural Gas Network învață topologii.

Tipuri de rețele neuronale artificiale

Rețea feed-forward ( Rețeaua de funcții de bază radială )
Perceptron cu un singur strat
Perceptron multistrat ( Rosenblatt • Rumelhart )
Rețeaua Hopfield
lanțul Markov
Masina Boltzmann
Mașină Boltzmann limitată
Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variational autoencoder )
Rețea profundă de încredere
Rețeaua neuronală convoluțională
Rețeaua neuronală convoluțională profundă
Implementarea rețelei neuronale
Deep Convolutional Inverse Graphic Network
Rețeaua adversară generativă
Rețea neuronală recurentă
Rețele neuronale recursive
memorie pe termen lung și scurt
Bloc recurent controlat
Neural Turing Machines
Rețea bidirecțională ( Rețea neuronală recurentă bidirecțională • Rețea bidirecțională cu memorie lungă pe termen scurt • Neuroni recurenți controlați bidirecționali )
Rețea reziduală adâncă
Rețea de ecou neuronal
Metoda de învățare extremă
Metoda stărilor instabile
Suport mașină vectorială
Rețeaua Kohonen
Harta auto-organizată a lui Kohonen
Rețea neuronală capsule
Memoria asociativă pe rețelele neuronale

Învățare automată și extragerea datelor
Sarcini	Problema de clasificare Învățați fără profesor Învățare asistată de profesor Analiza regresiei AutoML Regulile de asociere Extragerea caracteristicilor Antrenamentul trăsăturilor Antrenament de clasare Derivarea gramaticală Învățare online
Învățarea cu un profesor	metoda k-cel mai apropiat vecin Clasificator naiv Bayes arborele de decizie Suport mașină vectorială Regresie liniara Regresie logistică perceptron Ansambluri de modele Bagare stimularea pădure la întâmplare Metoda vectorială relevantă
analiza grupului	metoda k-means Metoda de grupare fuzzy Gruparea ierarhică algoritmul EM MESTEACĂN VINDECA DBSCAN OPTICA Schimbare medie
Reducerea dimensionalității	Analiza factorilor Metoda componentei principale CCA ICA LDA Expansiunea nenegativă a matricei t-SNE
Prognoza structurală	Modelul probabilistic grafic Rețeaua bayesiană Modelul Markov ascuns CRF
Detectarea anomaliilor	metoda k-cel mai apropiat vecin Nivelul de emisie local
Modele grafice probabilistice	Rețeaua bayesiană Rețeaua Markov Modelul Markov ascuns
Rețele neuronale	Mașină Boltzmann limitată hartă de auto-organizare Funcția de activare Sigmoid softmax Funcția de bază radială Metoda de propagare înapoi Invatare profunda Perceptron multistrat Rețea neuronală recurentă memorie pe termen lung și scurt Bloc recurent controlat Rețeaua neuronală convoluțională U-Net Autoencoder
Consolidarea învățării	procesul Markov Ecuația Bellman Algoritmul lacom Q-learning SARSA Diferența temporală (TD)
Teorie	Teoria Vapnik-Chervonenkis Dilema părtinire-dispersie Teoria învățării computaționale Minimizarea riscului empiric Occam învață Învățarea PAC Teoria învăţării statistice
Reviste și conferințe	NeurIPS ICML ML JMLR ArXiv:cs.LG