Funcția de bază radială

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită pe 2 iunie 2021; verificarea necesită 1 editare .

Funcția de bază radială ( RBF ) este o funcție dintr-un set de funcții radiale de același tip utilizată ca funcție de activare într-un strat al unei rețele neuronale artificiale sau altfel, în funcție de context. O funcție radială este orice funcție reală a cărei valoare depinde numai de distanța până la origine sau de distanța dintre un alt punct numit centru : . Norma este, de obicei, distanța euclidiană , deși pot fi utilizate alte metrici . $\phi \left(\mathbf {x} \right)=\phi \left(\left\|\mathbf {x} \right\|\right)$ ${\mathbf {c}}$ $\phi \left(\mathbf {x},\mathbf {c} \right)=\phi \left(\left\|\mathbf {x} -\mathbf {c} \right\|\right)$

Combinațiile liniare ale funcțiilor de bază radială pot fi, de asemenea, utilizate pentru a aproxima o funcție dată . Aproximarea poate fi interpretată ca cel mai simplu tip de rețea neuronală ; în acest context, funcțiile de bază radială au fost definite pentru prima dată de David Broomhead și David Lowe în 1988 [1] [2] , pe baza lucrării fundamentale din 1977 a lui Michael Powell [3] [4] [5] .

Funcțiile de bază radială sunt, de asemenea, utilizate ca nucleu în mașinile vector suport . [6]

Specie

Funcțiile de bază radială utilizate în mod obișnuit includ ( ): $r=\left\|\mathbf {x} -\mathbf {x} _{i}\right\|$

functia gaussiana : $\phi \left(r\right)=e^{-\left(\varepsilon r\right)^{2))$
Multiquadric: $\phi \left(r\right)={\sqrt {1+\left(\varepsilon r\right)^{2)))$
Patratică inversă: ${\displaystyle \phi \left(r\right)={\dfrac {1}{1+\left(\varepsilon r\right)^{2)}))$
Multiquadratic invers: $\phi \left(r\right)={\dfrac {1}{\sqrt {1+\left(\varepsilon r\right)^{2}}))$
Spline poliarmonic : ${\begin{aliniat}\phi \left(r\right)&=r^{k},&k&=1,3,5,\dotsc \\\phi \left(r\right)&=r ^{k}\ln \left(r\right),&k&=2,4,6,\dotsc \end{aligned}}$
Spline cu plăci subțiri (spline poliarmonică specială): $\phi \left(r\right)=r^{2}\ln \left(r\right)$

Aproximare

Pentru a aproxima funcții folosind funcții de bază radială, combinația lor liniară a formei este de obicei luată:

y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\ mathbf {x} _{i}\dreapta\|\dreapta)

unde suma funcţiilor de bază radială cu centre în puncte şi coeficienţi este luată ca funcţie de aproximare . Coeficienții pot fi calculați folosind metoda celor mai mici pătrate , deoarece funcția de ajustare este liniară în raport cu coeficienții . $y\left(\mathbf {x} \right)$ $N$ $\mathbf {x} _{i)$ $w_{{i}}$ $w_{{i}}$

Schemele de aproximare de acest fel sunt deosebit de utile. în prognoza serii de timp , controlul sistemelor neliniare care prezintă un comportament haotic destul de simplu și modelare 3D în grafica computerizată .

Rețele neuronale bazate pe RBF

Combinație liniară:

y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\ mathbf {x} _{i}\dreapta\|\dreapta)

poate fi interpretată și ca cea mai simplă rețea neuronală artificială cu un singur strat, numită rețea de funcții de bază radială , în care funcția de bază radială joacă rolul unei funcții de activare. Se poate arăta că orice funcție continuă pe un interval compact poate fi, în principiu, interpolată cu o precizie arbitrară pentru suficient de mare . $N$

Aproximația este diferențiabilă în raport cu . Coeficienții pot fi calculați folosind orice metodă iterativă standard pentru rețelele neuronale. $y\left(\mathbf {x} \right)$ $w_{{i}}$

Astfel, funcțiile de bază radială oferă un instrument de interpolare flexibil, cu condiția ca setul de centre să acopere mai mult sau mai puțin uniform domeniul funcției dorite (în mod ideal, centrele ar trebui să fie echidistante de vecinii lor cei mai apropiați). Cu toate acestea, de regulă, în punctele intermediare, aproximarea atinge o precizie ridicată numai dacă setul de funcții de bază radială este completat de un polinom ortogonal la fiecare dintre RBF.

Note

↑ Radial Basis Function networks Arhivat 23 aprilie 2014.
↑ Broomhead, Lowe, 1988 , p. 321–355
↑ Michael J. D. Powell; Michael JD Powell. Reporniți procedurile pentru metoda gradientului conjugat // Programare matematică : jurnal. - Springer, 1977. - Vol. 12 . - P. 241-254 . - doi : 10.1007/bf01593790 .
↑ Sahin, Ferat (1997). O abordare a funcției pe bază radială a unei probleme de clasificare a imaginilor color într-o aplicație industrială în timp real (PDF) (M.Sc.). Virginia Tech . p. 26. Arhivat din original (PDF) la 26-10-2015 . Extras 2018-06-02 . Funcțiile de bază radială au fost introduse pentru prima dată de Powell pentru a rezolva problema reală de interpolare multivariată. Parametrul depreciat folosit |deadlink=( ajutor )
↑ Broomhead, Lowe, 1988 , p. 347: „Am dori să mulțumim profesorului MJD Powell de la Departamentul de Matematică Aplicată și Fizică Teoretică de la Universitatea Cambridge pentru că a oferit stimulul inițial pentru această lucrare”.
↑ VanderPlas, Jake Introducere în suportul mașinilor vectoriale (link nu este disponibil) . [O'Reilly] (6 mai 2015). Preluat la 14 mai 2015. Arhivat din original la 5 septembrie 2015. (nedefinit)

Literatură

Broomhead, David H.; Lowe, David. Interpolare funcțională multivariabilă și rețele adaptive (engleză) // Sisteme complexe : jurnal. - 1988. - Vol. 2 . - P. 321-355 . Arhivat din original pe 14 iulie 2014.
Buhmann, Martin D. (2003), Radial Basis Functions: Theory and Implementations , Cambridge University Press , ISBN 978-0-521-63338-3 .
Hardy, RL Ecuații multiquadric ale topografiei și altor suprafețe neregulate // Journal of Geophysical Research : jurnal. - 1971. - Vol. 76 , nr. 8 . - P. 1905-1915 . - doi : 10.1029/jb076i008p01905 . — Cod biblic .
Hardy, RL Teoria și aplicațiile metodei multiquadric-biarmonice, 20 de ani de descoperire, 1968 1988 // Comp . matematică Aplicație: jurnal. - 1990. - Vol. 19 , nr. 8/9 . - P. 163-208 . - doi : 10.1016/0898-1221(90)90272-l .
Presă, W.H.; Teukolsky, SA; Vetterling, WT & Flannery, BP (2007), Secțiunea 3.7.1. Radial Basis Function Interpolation , Numerical Recipes: The Art of Scientific Computing (ed. a treia), New York: Cambridge University Press, ISBN 978-0-521-88068-8
Sirayanone, S., 1988, Studii comparative de kriging, multiquadric-biarmonic și alte metode pentru rezolvarea problemei resurselor minerale, Ph.D. Disertație, MPEI. Geoștiințe, Universitatea de Stat din Iowa, Ames, Iowa.
Sirayanone, S. Metoda multiquadric-biarmonică utilizată pentru resursele minerale, meteorologice și alte aplicații // Journal of Applied Sciences and Computations : journal. - 1995. - Vol. 1 . - P. 437-475 .

Învățare automată și extragerea datelor
Sarcini	Problema de clasificare Învățați fără profesor Învățare asistată de profesor Analiza regresiei AutoML Regulile de asociere Extragerea caracteristicilor Antrenamentul trăsăturilor Antrenament de clasare Derivarea gramaticală Învățare online
Învățarea cu un profesor	metoda k-cel mai apropiat vecin Clasificator naiv Bayes arborele de decizie Suport mașină vectorială Regresie liniara Regresie logistică perceptron Ansambluri de modele Bagare stimularea pădure la întâmplare Metoda vectorială relevantă
analiza grupului	metoda k-means Metoda de grupare fuzzy Gruparea ierarhică algoritmul EM MESTEACĂN VINDECA DBSCAN OPTICA Schimbarea medie
Reducerea dimensionalității	Analiza factorilor Metoda componentei principale CCA ICA LDA Expansiunea nenegativă a matricei t-SNE
Prognoza structurală	Modelul probabilistic grafic Rețeaua bayesiană Modelul Markov ascuns CRF
Detectarea anomaliilor	metoda k-cel mai apropiat vecin Nivelul de emisie local
Modele grafice probabilistice	Rețeaua bayesiană Rețeaua Markov Modelul Markov ascuns
Rețele neuronale	Mașină Boltzmann limitată hartă de auto-organizare Funcția de activare Sigmoid softmax Funcția de bază radială Metoda de propagare înapoi Invatare profunda Perceptron multistrat Rețea neuronală recurentă memorie pe termen lung și scurt Bloc recurent controlat Rețeaua neuronală convoluțională U-Net Autoencoder
Consolidarea învățării	procesul Markov Ecuația Bellman Algoritmul lacom Q-learning SARSA Diferența temporală (TD)
Teorie	Teoria Vapnik-Chervonenkis Dilema părtinire-dispersie Teoria învățării computaționale Minimizarea riscului empiric Occam învață Învățarea PAC Teoria învăţării statistice
Reviste și conferințe	NeurIPS ICML ML JMLR ArXiv:cs.LG