Clasificator naiv Bayes

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită pe 2 august 2019; verificările necesită 6 modificări .

Un clasificator Bayes naiv este un clasificator probabilist simplu bazat pe aplicarea teoremei lui Bayes cu ipoteze de independență stricte (naive) .

În funcție de natura precisă a modelului probabilistic, clasificatorii Naive Bayes pot fi antrenați foarte eficient. Multe aplicații practice folosesc metoda probabilității maxime pentru a estima parametrii pentru modelele naive bayes ; cu alte cuvinte, se poate lucra cu un model bayesian naiv fără a crede în probabilitatea bayesiană și fără a folosi metode bayesiene.

În ciuda aspectului lor naiv și a termenilor, fără îndoială, foarte simpliști, clasificatorii Naive Bayes au adesea rezultate mult mai bune decât rețelele neuronale în multe situații complexe din viața reală.

Avantajul clasificatorului naiv Bayes este cantitatea mică de date necesare pentru antrenament, estimarea parametrilor și clasificarea.

Model naiv de clasificare Bayes

Modelul probabilistic pentru clasificator este un model condiționat

p(C\mid F_{1},\dots, F_{n})

peste variabilă de clasă dependentă cu puține rezultate sau clase , dependentă de puține variabile . Problema este că atunci când numărul de proprietăți este foarte mare, sau când o proprietate poate lua un număr mare de valori, atunci devine imposibil să construiești un astfel de model pe tabele de probabilitate. Prin urmare, vom reformula modelul pentru a-l face mai ușor de procesat. $C$ $F_{1},\ldots, F_{n)$ $n$

Folosind teorema lui Bayes , scriem

p(C\mid F_{1},\dots,F_{n})={\frac {p(C)\p(F_{1},\dots,F_{n}\mid C)} {p(F_{1},\dots ,F_{n})}}.

În practică, interesează doar numărătorul acestei fracții, deoarece numitorul nu depinde de și valorile proprietăților sunt date, deci numitorul este o constantă. $C$ $F_{i}$

Numătorul este echivalent cu probabilitatea comună a modelului

p(C,F_{1},\dots,F_{n})

care poate fi rescris după cum urmează, folosind aplicații repetate ale definițiilor probabilității condiționate :

p(C,F_{1},\dots,F_{n})=

=p(C)\p(F_{1},\dots,F_{n}\mid C)=

=p(C)\p(F_{1}\mid C)\p(F_{2},\dots,F_{n}\mid C,F_{1})=

=p(C)\p(F_{1}\mid C)\p(F_{2}\mid C,F_{1})\p(F_{3},\dots, F_{n} \mid C,F_{1},F_{2})=

=p(C)\p(F_{1}\mid C)\p(F_{2}\mid C,F_{1})\cdot \ldots \cdot p(F_{n}\mid C ,F_{1},F_{2},F_{3},\dots ,F_{n-1})

și așa mai departe. Acum putem folosi ipotezele „naive” ale independenței condiționate : să presupunem că fiecare proprietate este independentă condiționat de orice altă proprietate la . Inseamna: $F_{i}$ $F_{j}$ $j\neq i$

p(F_{i}\mid C,F_{j})=p(F_{i}\mid C)

deci modelul comun poate fi exprimat ca:

p(C,F_{1},\dots,F_{n})=p(C)\p(F_{1}\mid C)\p(F_{2}\mid C)\p( F_{3}\mid C)\cdot \ldots \cdot p(F_{n}\mid C)=

=p(C)\prod _{i=1}^{n}p(F_{i}\mid C).

Aceasta înseamnă că, în ipoteza independenței, distribuția condiționată asupra variabilei de clasă poate fi exprimată astfel: $C$

p(C\mid F_{1},\dots, F_{n})={\frac {1}{Z}}p(C)\prod _{i=1}^{n}p( F_{i}\mid C)

unde este un factor de scară care depinde numai de , adică o constantă dacă se cunosc valorile variabilelor. $Z=p(F_{1},\dots, F_{n})$ $F_{1},\dots ,F_{n}$

Estimarea parametrilor

Toți parametrii modelului pot fi aproximați prin frecvențe relative din setul de date de antrenament. Acestea sunt estimările de probabilitate maximă ale probabilităților. Proprietățile continue sunt de obicei evaluate prin distribuția normală. Statisticile sunt calculate ca așteptare și varianță matematică - media aritmetică și, respectiv, abaterea standard.

Dacă clasa dată și valoarea proprietății nu apar niciodată împreună în setul de antrenament, atunci scorul bazat pe probabilități va fi zero. Aceasta este o problemă, deoarece la înmulțire, o estimare zero va duce la pierderea informațiilor despre alte probabilități. Prin urmare, este de preferat să se facă mici ajustări la toate estimările de probabilitate, astfel încât nicio probabilitate să nu fie strict zero.

Construirea unui clasificator bazat pe un model probabilistic

Un clasificator bayes naiv combină un model cu o regulă de decizie. O regulă generală este alegerea celei mai probabile ipoteze; este cunoscută ca regula deciziei a posteriori ( MAP ). Clasificatorul corespunzător este o funcție definită după cum urmează: ${\mathrm {clasifica}}$

\operatorname {clasificare} (f_{1},\dots,f_{n})=\arg \max _{c}p(C=c)\prod _{i=1}^{n}p (F_{i}=f_{i}\mid C=c)

Exemplu: filtrarea spamului

Să luăm în considerare un exemplu simplu de aplicare a unui clasificator Bayes naiv la problema clasificării documentelor după conținutul lor, și anume, clasificarea e- mailurilor în două clase - spam ( ) și non-spam ( ). $S$ $\neg S$

Vom presupune că documentele sunt selectate din mai multe clase de documente, care pot fi reprezentate printr-un set de cuvinte cu o probabilitate (independentă) ca al - i -lea cuvânt al unui document dat să apară într-un document din clasa C :

p(w_{i}\mid C)

(Pentru această problemă, presupuneți că probabilitatea ca un cuvânt să apară într-un document este independentă de lungimea documentului și că toate documentele au aceeași lungime.)

Apoi probabilitatea pentru un document dat D și clasa C

p(D\mid C)=\prod _{i}p(w_{i}\mid C)

Întrebarea la care vrem să răspundem este „care este probabilitatea ca un anumit document D să aparțină clasei C ?”. Cu alte cuvinte, cu ce este egal ? $p(C\mid D)$

Conform teoremei lui Bayes

p(C\mid D)={p(C)\over p(D)}\,p(D\mid C)

Să presupunem că avem doar două clase: S și ¬S ( de exemplu, spam și non-spam). Apoi

p(S\mid D)={p(S)\over p(D)}\,\prod _{i}p(w_{i}\mid S)

p(\neg S\mid D)={p(\neg S) \over p(D)}\,\prod _{i}p(w_{i}\mid \neg S)

Împărțind unul la altul, obținem raportul de probabilitate

{p(S\mid D) \over p(\neg S\mid D)}={p(S) \over p(\neg S)}\,\prod _{i}{p(w_ {i}\mid S) \over p(w_{i}\mid \neg S)}

sau (pentru log-probabilitate )

\ln {p(S\mid D) \over p(\neg S\mid D)}=\ln {p(S) \over p(\neg S)}+\sum _{i}\ ln {p(w_{i}\mid S) \over p(w_{i}\mid \neg S)}

Probabilitatea reală poate fi calculată pe baza observației că . Pentru a face acest lucru, este necesar să se formeze un spațiu de probabilitate din funcția de probabilitate $p(S\mid D)$ $\ln {p(S\mid D) \peste p(\neg S\mid D))$ $p(S\mid D)+p(\neg S\mid D)=1$

p(S\mid D)={\frac {e^{q}}{1+e^{q}}}

, Unde

q=\ln {p(S\mid D) \peste p(\neg S\mid D))

În cele din urmă, documentul poate fi clasificat prin compararea log-probabilității cu un anumit prag h (ex. h=0). Avem spam dacă

\ln {p(S\mid D) \over p(\neg S\mid D)}>h

Vezi și

Link -uri

Domingos, Pedro și Michael Pazzani (1997) „Despre optimitatea clasificatorului Bayesian simplu sub pierdere zero-un”. Machine Learning , 29:103-137. (de asemenea online la CiteSeer : [1] )
Rish, Irina. (2001). „Un studiu empiric al clasificatorului naiv Bayes”. IJCAI 2001 Atelier de lucru privind metodele empirice în inteligența artificială. (disponibil online: PDF arhivat 10 decembrie 2017 la Wayback Machine , PostScript )
Hand, DJ și Yu, K. (2001). „Idiot’s Bayes – nu atât de prost până la urmă?” Revista Internațională de Statistică. Vol. 69 partea 3, paginile 385-399. ISSN 0306-7734 .
Mozina M, Demsar J, Kattan M și Zupan B. (2004). „Nomograme pentru vizualizarea clasificatorului bayesian naiv”. În Proc. din PKDD-2004, paginile 337-348. (disponibil online: PDF (link indisponibil din 13-05-2013 [3458 zile]) -poveste) )
Maron, M.E. (1961). „Indexarea automată: o anchetă experimentală”. Jurnalul ACM (JACM) 8(3):404-417. (disponibil online: PDF )
Minsky, M. (1961). „Pași către inteligența artificială”. Proceedings of the IRE 49(1):8-30.
McCallum, A. și Nigam K. „A Comparison of Event Models for Naive Bayes Text Classification”. În AAAI/ICML-98 Workshop on Learning for Text Categorization, pp. 41–48. Raport tehnic WS-98-05. AAAI Press. 1998. (disponibil online: PDF )
Subbotin S. V., Bolshakov D. Yu. Aplicarea clasificatorului bayesian pentru recunoașterea claselor țintă. // „Journal of Radioelectronics”, 2006, nr. 4 ( disponibil online )

Produse software

jBNC - Caseta de instrumente Bayesian Network Clasifier

Învățare automată și extragerea datelor
Sarcini	Problema de clasificare Învățați fără profesor Învățare asistată de profesor Analiza regresiei AutoML Regulile de asociere Extragerea caracteristicilor Antrenamentul trăsăturilor Antrenament de clasare Derivarea gramaticală Învățare online
Învățarea cu un profesor	metoda k-cel mai apropiat vecin Clasificator naiv Bayes arborele de decizie Suport mașină vectorială Regresie liniara Regresie logistică perceptron Ansambluri de modele Bagare stimularea pădure la întâmplare Metoda vectorială relevantă
analiza grupului	metoda k-means Metoda de grupare fuzzy Gruparea ierarhică algoritmul EM MESTEACĂN VINDECA DBSCAN OPTICA Schimbare medie
Reducerea dimensionalității	Analiza factorilor Metoda componentei principale CCA ICA LDA Expansiunea nenegativă a matricei t-SNE
Prognoza structurală	Modelul probabilistic grafic Rețeaua bayesiană Modelul Markov ascuns CRF
Detectarea anomaliilor	metoda k-cel mai apropiat vecin Nivelul de emisie local
Modele grafice probabilistice	Rețeaua bayesiană Rețeaua Markov Modelul Markov ascuns
Rețele neuronale	Mașină Boltzmann limitată hartă de auto-organizare Funcția de activare Sigmoid softmax Funcția de bază radială Metoda de propagare înapoi Invatare profunda Perceptron multistrat Rețea neuronală recurentă memorie pe termen lung și scurt Bloc recurent controlat Rețeaua neuronală convoluțională U-Net Autoencoder
Consolidarea învățării	procesul Markov Ecuația Bellman Algoritmul lacom Q-learning SARSA Diferența temporală (TD)
Teorie	Teoria Vapnik-Chervonenkis Dilema părtinire-dispersie Teoria învățării computaționale Minimizarea riscului empiric Occam învață Învățarea PAC Teoria învăţării statistice
Reviste și conferințe	NeurIPS ICML ML JMLR ArXiv:cs.LG