Sigmoid

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită pe 2 august 2019; verificările necesită 5 modificări .

Sigmoidul este o funcție neliniară crescătoare monotonă lină , în formă de litera „S”, care este adesea folosită pentru a „netezi” valorile unei cantități.

Sigmoid este adesea înțeles ca o funcție logistică

\sigma (x)={\frac {1}{1+e^{-x}}}.

Sigmoidul este mărginit de două asimptote orizontale, la care tinde așa cum tinde argumentul. În funcție de convenție, aceste asimptote pot fi y = ±1 (in ) sau y = 0 in și y = +1 in . $\pm \infty .$ $\pm \infty$ $-\infty$ $+\infty$

Derivata sigmoidului este o curbă în formă de clopot cu un maxim la zero, tinde asimptotic spre zero la . $+\infty$

Familia de funcții a clasei sigmoide

Familia de funcții a clasei sigmoide include funcții precum arctangentă , tangentă hiperbolică și alte funcții similare.

Funcția Fermi-Dirac (sigmoid exponențial):

f(x)={\frac {1}{1+e^{-2\alpha x}}},\quad \alpha >0.

Sigmoid rațional:

f(x)={\frac {x}{|x|+\alpha )),\quad \alpha >0.

Arctangent :

f(x)=\operatorname {arctg} x.

Tangenta hiperbolica :

f(x)=\operatorname {th} {\frac {x}{\alpha }}={\frac {e^{\frac {x}{\alpha }} -e^{-{\frac {x}{\alpha }}}}{e^{\frac {x}{\alpha }}+e^{-{\frac {x}{\alpha }}}}}.

Ordinea a N-a pas lină:

f(x)={\begin{cases}\left(\int _{0}^{1}{\big (}1-u^{2}{\big )}^{N}\du \right)^{-1}\int _{0}^{x}{\big (}1-u^{2}{\big )}^{N}\ du\quad &|x|\leq 1 \\\operatorname {sgn}(x)&|x|\geq 1\\\end{cases}}\,\quad N\geq 1

Sigmoid rădăcină:

f(x)={\frac {x}{\sqrt {1+x^{2)})).

Funcția logistică :

f(x)=(1+e^{-x})^{-1}.

Funcția logistică generalizată :

f(x)=(1+e^{-x})^{-\alpha },\quad \alpha >0.

Funcția de eroare :

f(x)=\operatorname {erf} (x)={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2 }}\,dt.

Funcția Gudermann :

f(x)=\operatorname {gd} x=\int _{0}^{x}{\frac {1}{\cosh t}}\,dt=\operatorname {arctg} (\operatorname { sh}x).

Aplicație

Rețele neuronale

Sigmoizii sunt folosiți în rețelele neuronale ca funcții de activare. Ele permit neuronilor să amplifice semnale slabe și să nu fie saturate de semnale puternice [1] .

Rețelele neuronale folosesc adesea sigmoide, ale căror derivate pot fi exprimate în termenii funcției în sine. Acest lucru ne permite să reducem semnificativ complexitatea de calcul a metodei de retropropagare a erorilor , făcând-o aplicabilă în practică:

\sigma '(x)=(1+\sigma (x))\cdot (1-\sigma (x))

— pentru tangenta hiperbolica;

\sigma '(x)=\sigma (x)\cdot (1-\sigma (x))

- pentru functia de logistica.

Regresie logistică

Funcția logistică este utilizată în rezolvarea problemelor de clasificare folosind regresia logistică . Să fie rezolvată o problemă de clasificare cu două clase ( și , unde este o variabilă care indică clasa obiectului). Se presupune că probabilitatea ca un obiect să aparțină uneia dintre clase este exprimată prin valorile atributelor acestui obiect (numere reale): $f(x)={\frac {1}{1+e^{{-x))))$ $y=0$ $y=1$ $y$ $x_{1},x_{2},...,x_{n}$

\mathbb {P} \{y=1\mid x_{1},\ldots ,x_{n}\}=f(a_{1}x_{1}+\ldots +a_{n}x_{ n})={\frac {1}{1+\exp(-a_{1}x_{1}-\ldots -a_{n}x_{n))))),

unde sunt unii coeficienți care necesită selecție, de obicei prin metoda probabilității maxime . $a_{1},...,a_{n}$

Această funcție este obținută folosind un model liniar generalizat și ipoteza că variabila dependentă este distribuită conform legii Bernoulli . $f(x)$ $y$

Vezi și

Retele neuronale artificiale
perceptron
Tangenta hiperbolică modificată

Literatură

Mitchell, Tom M. Învățare automată . - WCB-McGraw-Hill, 1997. - ISBN 0-07-042807-7 .

Note

↑ Funcții de activare în rețelele neuronale . Preluat la 11 septembrie 2014. Arhivat din original la 24 iulie 2014. (nedefinit)

Link -uri

Comparația vitezei mai multor implementări software ale tangentei hiperbolice
Humphrys, Mark Ieșire continuă, funcția sigmoid .

Învățare automată și extragerea datelor
Sarcini	Problema de clasificare Învățați fără profesor Învățare asistată de profesor Analiza regresiei AutoML Regulile de asociere Extragerea caracteristicilor Antrenamentul trăsăturilor Antrenament de clasare Derivarea gramaticală Învățare online
Învățarea cu un profesor	metoda k-cel mai apropiat vecin Clasificator naiv Bayes arborele de decizie Suport mașină vectorială Regresie liniara Regresie logistică perceptron Ansambluri de modele Bagare stimularea pădure la întâmplare Metoda vectorială relevantă
analiza grupului	metoda k-means Metoda de grupare fuzzy Gruparea ierarhică algoritmul EM MESTEACĂN VINDECA DBSCAN OPTICA Schimbare medie
Reducerea dimensionalității	Analiza factorilor Metoda componentei principale CCA ICA LDA Expansiunea nenegativă a matricei t-SNE
Prognoza structurală	Modelul probabilistic grafic Rețeaua bayesiană Modelul Markov ascuns CRF
Detectarea anomaliilor	metoda k-cel mai apropiat vecin Nivelul de emisie local
Modele grafice probabilistice	Rețeaua bayesiană Rețeaua Markov Modelul Markov ascuns
Rețele neuronale	Mașină Boltzmann limitată hartă de auto-organizare Funcția de activare Sigmoid softmax Funcția de bază radială Metoda de propagare înapoi Invatare profunda Perceptron multistrat Rețea neuronală recurentă memorie pe termen lung și scurt Bloc recurent controlat Rețeaua neuronală convoluțională U-Net Autoencoder
Consolidarea învățării	procesul Markov Ecuația Bellman Algoritmul lacom Q-learning SARSA Diferența temporală (TD)
Teorie	Teoria Vapnik-Chervonenkis Dilema părtinire-dispersie Teoria învățării computaționale Minimizarea riscului empiric Occam învață Învățarea PAC Teoria învăţării statistice
Reviste și conferințe	NeurIPS ICML ML JMLR ArXiv:cs.LG