Metoda vectorială relevantă

Relevance Vector Machine ( RVM ) este o tehnică de învățare automată care utilizează inferența bayesiană pentru a obține soluții de parcimonie pentru regresie și clasificare probabilistică [1] . RTM are aceeași formă funcțională ca și mașina vector suport , dar oferă o clasificare probabilistică.

Descriere

Metoda este, de fapt, echivalentă cu un model de proces gaussian cu o funcție de covarianță :

k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j))}\varphi (\ mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})

unde este funcția de nucleu (de obicei, un gaussian), sunt variațiile anterioare ale vectorului de greutate și sunt vectorii de intrare ai setului de antrenament [2] . $\varphi$ $\alpha _{j)$ $w\sim N(0,\alpha ^{-1}I)$ $\mathbf {x} _{1},\ldots,\mathbf {x} _{N)$

În comparație cu mașinile de suport vector , formularea Bayesiană a RTM evită necesitatea parametrilor liberi (care necesită de obicei post-optimizare bazată pe validări încrucișate). Cu toate acestea, RTM folosește o metodă de învățare similară cu algoritmul EM și, prin urmare, există riscul de a ajunge la un minim local. Acest lucru îl diferențiază de algoritmii standard bazați pe optimizarea minimă secvențială utilizați de mașinile vector suport și care garantează găsirea unui optim global (pe o problemă convexă).

Metoda Vectorului Relevant este brevetată în SUA de către Microsoft [3] .

Vezi și

metoda nucleara
Scalare Platt : transformă SVM într-un model probabilistic

Note

↑ Tipping, 2001 , p. 211-244.
↑ Candela, 2004 .
^ Michael E. Tipping, „Relevance vector machine”, US 6633857

Literatură

Michael E. Bacsis. Învățare Bayesiană Rară și Mașina Vectorului Relevanță // Journal of Machine Learning Research . - 2001. - T. 1 .
Joaquin Quiñonero Candela. Modele liniare probabilistice rare și RVM // Învățare cu incertitudine - Procese gaussiene și mașini vectoriale de relevanță . - Universitatea Tehnică din Danemarca, 2004. - (Ph.D.).

Software

biblioteca dlib C++
Biblioteca Mașinilor Nucleare
rvmbinary : pachet R pentru clasificarea binară
scikit-rvm
fast-scikit-rvm , Tutorial pentru metoda vectorului relevant

Link -uri

Învățare automată și extragerea datelor
Sarcini	Problema de clasificare Învățați fără profesor Învățare asistată de profesor Analiza regresiei AutoML Regulile de asociere Extragerea caracteristicilor Antrenamentul trăsăturilor Antrenament de clasare Derivarea gramaticală Învățare online
Învățarea cu un profesor	metoda k-cel mai apropiat vecin Clasificator naiv Bayes arborele de decizie Suport mașină vectorială Regresie liniara Regresie logistică perceptron Ansambluri de modele Bagare stimularea pădure la întâmplare Metoda vectorială relevantă
analiza grupului	metoda k-means Metoda de grupare fuzzy Gruparea ierarhică algoritmul EM MESTEACĂN VINDECA DBSCAN OPTICA Schimbarea medie
Reducerea dimensionalității	Analiza factorilor Metoda componentei principale CCA ICA LDA Expansiunea nenegativă a matricei t-SNE
Prognoza structurală	Modelul probabilistic grafic Rețeaua bayesiană Modelul Markov ascuns CRF
Detectarea anomaliilor	metoda k-cel mai apropiat vecin Nivelul de emisie local
Modele grafice probabilistice	Rețeaua bayesiană Rețeaua Markov Modelul Markov ascuns
Rețele neuronale	Mașină Boltzmann limitată hartă de auto-organizare Funcția de activare Sigmoid softmax Funcția de bază radială Metoda de propagare înapoi Invatare profunda Perceptron multistrat Rețea neuronală recurentă memorie pe termen lung și scurt Bloc recurent controlat Rețeaua neuronală convoluțională U-Net Autoencoder
Consolidarea învățării	procesul Markov Ecuația Bellman Algoritmul lacom Q-learning SARSA Diferența temporală (TD)
Teorie	Teoria Vapnik-Chervonenkis Dilema părtinire-dispersie Teoria învățării computaționale Minimizarea riscului empiric Occam învață Învățarea PAC Teoria învăţării statistice
Reviste și conferințe	NeurIPS ICML ML JMLR ArXiv:cs.LG