Rețeaua neuronală Hamming

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită pe 2 august 2019; verificarea necesită 1 editare .

O rețea neuronală Hamming este un tip de rețea neuronală folosită pentru clasificarea vectorilor binari, principalul criteriu în care este distanța Hamming . Este o dezvoltare a rețelei neuronale Hopfield .

Rețeaua este utilizată pentru a corela vectorul binar , unde , cu una dintre imaginile de referință (fiecare clasă are propria imagine), sau pentru a decide că vectorul nu corespunde cu niciunul dintre standarde. Spre deosebire de rețeaua Hopfield, aceasta nu emite eșantionul în sine, ci numărul acestuia. $x=(x_{1},x_{2},x_{3},...,x_{m})$ $x_{i}=\{-1,1\)$

Rețeaua a fost propusă de Richard Lippmann în 1987. A fost poziționat ca un dispozitiv de stocare heteroasociativ specializat. [unu]

Arhitectură

Rețeaua Hamming este o rețea neuronală cu trei straturi cu feedback. Numărul de neuroni din al doilea și al treilea strat este egal cu numărul de clase de clasificare. Sinapsele neuronilor celui de-al doilea strat sunt conectate la fiecare intrare a rețelei, neuronii celui de-al treilea strat sunt interconectați prin conexiuni negative, cu excepția sinapsei conectate la axonul propriu al fiecărui neuron - are un feedback pozitiv.

Training în rețea

Matricea coeficienților de greutate ai primului strat este obținută din matricea imaginilor de referință ca , unde matricea imaginilor de referință este o matrice , fiecare rând din care este vectorul binar de referință corespunzător. Funcția de activare este definită ca $X$ $w_{ij}={\dfrac {x_{ij}}{2}}$ $K\times M$ $f(s)=\left\{{\begin{matrix}0,&s\leqslant 0,\\s,&0<s\leqslant T;\\T,&s>T\\\end{matrix} }\dreapta.$

Unde $T={\dfrac {M}{2)}$

Matricea de greutate a celui de-al doilea strat are dimensiunea și este definită ca $K\time K$

{\begin{bmatrix}1&-\epsilon &\cdots &-\epsilon \\-\epsilon &1&\cdots &-\epsilon \\\cdots &\cdots &\cdots &\cdots \\-\epsilon &-\epsilon &\cdots &1\end{bmatrix}},

Unde $\epsilon \in (0,{\dfrac {1}{K}}]$

Astfel, antrenamentul se desfășoară într-un singur ciclu.

Funcționare în rețea

Vectorul clasificat este dat ca intrare . Starea neuronilor din primul strat este calculată ca . Ieșirea neuronilor din primul strat este obținută prin aplicarea unei funcții de activare stării și devine valoarea inițială a neuronilor corespunzători din al doilea strat. În plus, stările neuronilor celui de-al doilea strat sunt obținute din starea lor anterioară, pe baza matricei de coeficienți de greutate a celui de-al doilea strat, iar procedura se repetă iterativ până când vectorul de stare al celui de-al doilea strat se stabilizează - până la norma de diferența dintre vectorii a două iterații succesive devine mai mică decât o anumită valoare (în practică, valori de ordinul 0, unu). ${\vec {x^{*}))$ $s_{1j}=w_{ji}x_{i}^{*}$ $E_{{max}}$

Dacă în cele din urmă un vector este pozitiv și restul sunt negativi, atunci indică o probă potrivită. Dacă mai mulți vectori sunt pozitivi și, în același timp, niciunul dintre ei nu depășește , atunci aceasta înseamnă că rețeaua neuronală nu poate atribui vectorul de intrare nici uneia dintre clase, cu toate acestea, ieșirile pozitive indică standardele cele mai similare. $E_{{max}}$

Exemple

Rețeaua poate fi utilizată pentru a recunoaște imagini formate doar din pixeli alb-negru, cum ar fi un index scris pe o ștampilă de cod de plic .

Note

↑ Richard Lipmann. 1987. O introducere în calculul cu rețele neuronale. Revista IEEE Assp

Literatură

Vladimir Golovko. Rețele neuronale. Instruire, organizare și aplicare. Cartea 4. - M . : IPRZhR, 2001. - 256 p.
Osovsky S. Rețele neuronale pentru prelucrarea informațiilor. - M. : Finanţe şi statistică, 2002. - 344 p.

Tipuri de rețele neuronale artificiale

Rețea feed-forward ( Rețeaua de funcții de bază radială )
Perceptron cu un singur strat
Perceptron multistrat ( Rosenblatt • Rumelhart )
Rețeaua Hopfield
lanțul Markov
Masina Boltzmann
Mașină Boltzmann limitată
Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variational autoencoder )
Rețea profundă de încredere
Rețeaua neuronală convoluțională
Rețeaua neuronală convoluțională profundă
Implementarea rețelei neuronale
Deep Convolutional Inverse Graphic Network
Rețeaua adversară generativă
Rețea neuronală recurentă
Rețele neuronale recursive
memorie pe termen lung și scurt
Bloc recurent controlat
Neural Turing Machines
Rețea bidirecțională ( Rețea neuronală recurentă bidirecțională • Rețea bidirecțională cu memorie lungă pe termen scurt • Neuroni recurenți controlați bidirecționali )
Rețea reziduală adâncă
Rețea de ecou neuronal
Metoda de învățare extremă
Metoda stărilor instabile
Suport mașină vectorială
Rețeaua Kohonen
Harta auto-organizată a lui Kohonen
Rețea neuronală capsule
Memoria asociativă pe rețelele neuronale

Învățare automată și extragerea datelor
Sarcini	Problema de clasificare Învățați fără profesor Învățare asistată de profesor Analiza regresiei AutoML Regulile de asociere Extragerea caracteristicilor Antrenamentul trăsăturilor Antrenament de clasare Derivarea gramaticală Învățare online
Învățarea cu un profesor	metoda k-cel mai apropiat vecin Clasificator naiv Bayes arborele de decizie Suport mașină vectorială Regresie liniara Regresie logistică perceptron Ansambluri de modele Bagare stimularea pădure la întâmplare Metoda vectorială relevantă
analiza grupului	metoda k-means Metoda de grupare fuzzy Gruparea ierarhică algoritmul EM MESTEACĂN VINDECA DBSCAN OPTICA Schimbarea medie
Reducerea dimensionalității	Analiza factorilor Metoda componentei principale CCA ICA LDA Expansiunea nenegativă a matricei t-SNE
Prognoza structurală	Modelul probabilistic grafic Rețeaua bayesiană Modelul Markov ascuns CRF
Detectarea anomaliilor	metoda k-cel mai apropiat vecin Nivelul de emisie local
Modele grafice probabilistice	Rețeaua bayesiană Rețeaua Markov Modelul Markov ascuns
Rețele neuronale	Mașină Boltzmann limitată hartă de auto-organizare Funcția de activare Sigmoid softmax Funcția de bază radială Metoda de propagare înapoi Invatare profunda Perceptron multistrat Rețea neuronală recurentă memorie pe termen lung și scurt Bloc recurent controlat Rețeaua neuronală convoluțională U-Net Autoencoder
Consolidarea învățării	procesul Markov Ecuația Bellman Algoritmul lacom Q-learning SARSA Diferența temporală (TD)
Teorie	Teoria Vapnik-Chervonenkis Dilema părtinire-dispersie Teoria învățării computaționale Minimizarea riscului empiric Occam învață Învățarea PAC Teoria învăţării statistice
Reviste și conferințe	NeurIPS ICML ML JMLR ArXiv:cs.LG