Regularizare (matematică)

Regularizarea în statistică , învățarea automată , teoria inversă a problemelor este o metodă de adăugare a unor constrângeri suplimentare la o condiție pentru a rezolva o problemă prost pusă sau pentru a preveni supraadaptarea . Aceste informații vin adesea sub forma unei penalizări pentru complexitatea modelului. De exemplu, acestea pot fi restricții privind netezimea funcției rezultate sau restricții asupra normei spațiului vectorial .

Din punct de vedere bayesian , multe metode de regularizare corespund adăugării unor distribuții anterioare la parametrii modelului.

Unele tipuri de regularizare:

-regularizare ( ing. regresie lasso ), sau regularizare prin distanța Manhattan : $L_{1}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{|a_{i}|}$ .
$L_{2}$ - regularizarea , sau regularizarea Tikhonov (în literatura engleză - regresia crestei sau regularizarea Tikhonov ), pentru ecuațiile integrale, vă permite să echilibrați între conformitatea datelor și o normă mică de soluție: $L_{2}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{a_{i}}^{2}$ .

Supraadaptarea în majoritatea cazurilor se manifestă prin faptul că polinoamele rezultate au coeficienți prea mari. În consecință, este necesar să se adauge o penalizare pentru coeficienți prea mari la funcția obiectiv .

Nu există o soluție pentru optimizarea sau optimizarea multicriterială în care domeniul funcției obiectiv este un spațiu pe care nu există o ordine liniară sau este dificil de introdus. Aproape întotdeauna există puncte în domeniul funcției care se optimizează și care satisfac constrângerile, dar valorile la puncte sunt incomparabile. Pentru a găsi toate punctele de pe curba Pareto , utilizați scalarizarea [1] . În optimizare, regularizarea este o tehnică generală de scalarizare pentru o problemă de optimizare cu două criterii [2] . Variind parametrul lambda - elementul care trebuie să fie mai mare decât zero în conul dual față de care este definită ordinea - puteți obține puncte diferite pe curba Pareto .

Literatură

Boyd S., Vandenberghe L. Convex Optimization . - Marea Britanie : Cambridge University Press, 2004. - 716 p. - (Berichte über verteilte messysteme). — ISBN 9780521833783 .

Învățare automată și extragerea datelor
Sarcini	Problema de clasificare Învățați fără profesor Învățare asistată de profesor Analiza regresiei AutoML Regulile de asociere Extragerea caracteristicilor Antrenamentul trăsăturilor Antrenament de clasare Derivarea gramaticală Învățare online
Învățarea cu un profesor	metoda k-cel mai apropiat vecin Clasificator naiv Bayes arborele de decizie Suport mașină vectorială Regresie liniara Regresie logistică perceptron Ansambluri de modele Bagare stimularea pădure la întâmplare Metoda vectorială relevantă
analiza grupului	metoda k-means Metoda de grupare fuzzy Gruparea ierarhică algoritmul EM MESTEACĂN VINDECA DBSCAN OPTICA Schimbare medie
Reducerea dimensionalității	Analiza factorilor Metoda componentei principale CCA ICA LDA Expansiunea nenegativă a matricei t-SNE
Prognoza structurală	Modelul probabilistic grafic Rețeaua bayesiană Modelul Markov ascuns CRF
Detectarea anomaliilor	metoda k-cel mai apropiat vecin Nivelul de emisie local
Modele grafice probabilistice	Rețeaua bayesiană Rețeaua Markov Modelul Markov ascuns
Rețele neuronale	Mașină Boltzmann limitată hartă de auto-organizare Funcția de activare Sigmoid softmax Funcția de bază radială Metoda de propagare înapoi Invatare profunda Perceptron multistrat Rețea neuronală recurentă memorie pe termen lung și scurt Bloc recurent controlat Rețeaua neuronală convoluțională U-Net Autoencoder
Consolidarea învățării	procesul Markov Ecuația Bellman Algoritmul lacom Q-learning SARSA Diferența temporală (TD)
Teorie	Teoria Vapnik-Chervonenkis Dilema părtinire-dispersie Teoria învățării computaționale Minimizarea riscului empiric Occam învață Învățarea PAC Teoria învăţării statistice
Reviste și conferințe	NeurIPS ICML ML JMLR ArXiv:cs.LG