Teorema lui Bayes

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită la 6 februarie 2022; verificările necesită 3 modificări .

Teorema lui Bayes (sau formula lui Bayes ) este una dintre principalele teoreme ale teoriei probabilităților elementare , care vă permite să determinați probabilitatea unui eveniment, cu condiția ca un alt eveniment care este interdependent statistic cu acesta să fi avut loc. Cu alte cuvinte, conform formulei Bayes, este posibil să se recalculeze mai precis probabilitatea, luând în considerare atât informațiile cunoscute anterior, cât și datele din observații noi. Formula lui Bayes poate fi derivată din axiomele de bază ale teoriei probabilităților, în special din probabilitatea condiționată . O caracteristică a teoremei Bayes este că aplicarea sa practică necesită un număr mare de calcule, calcule, astfel încât estimările bayesiene au început să fie utilizate în mod activ abia după revoluția în tehnologiile de calcul și rețele.

Când a apărut teorema lui Bayes, probabilitățile utilizate în teoremă au fost supuse unui număr de interpretări probabilistice. Una dintre aceste interpretări spunea că derivarea formulei este direct legată de aplicarea unei abordări speciale a analizei statistice. Dacă folosim interpretarea bayesiană a probabilității , atunci teorema arată cum nivelul personal de încredere se poate schimba dramatic datorită numărului de evenimente care au avut loc. Aceasta este concluzia lui Bayes, care a devenit fundamentală pentru statistica bayesiană. Cu toate acestea, teorema nu este utilizată numai în analiza bayesiană, ci este utilizată activ și pentru un număr mare de alte calcule.

Experimentele psihologice [1] au arătat că oamenii estimează adesea incorect probabilitatea reală (corectă matematic) a unui eveniment pe baza unei experiențe acumulate ( probabilitate a posteriori ), deoarece ignoră însăși probabilitatea unei presupuneri ( probabilitate a priori ). Prin urmare, rezultatul corect conform formulei Bayes poate fi foarte diferit de cel așteptat intuitiv.

Teorema lui Bayes este numită după autorul său, Thomas Bayes (1702–1761), un matematician și cleric englez care a propus pentru prima dată utilizarea teoremei pentru a corecta credințele pe baza datelor actualizate. Lucrarea sa „ Un eseu spre rezolvarea unei probleme în doctrina șanselor ” a fost publicată pentru prima dată în 1763 [2] , la 2 ani după moartea autorului. Înainte ca opera postumă a lui Bayes să fie acceptată și citită la Societatea Regală, aceasta a fost editată și actualizată pe larg de Richard Price . Cu toate acestea, aceste idei nu au fost făcute publice până când au fost redescoperite și dezvoltate de Pierre-Simon Laplace , care a publicat pentru prima dată formularea modernă a teoremei în cartea sa din 1812 Teoria analitică a probabilității.

Sir Harold Jeffreys a scris că teorema lui Bayes este „pentru teoria probabilității ceea ce este teorema lui Pitagora pentru geometrie ” [3] .

Formulare

Formula Bayes :

P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)))

Unde

P(A)

— probabilitatea a priori a ipotezei A (a se vedea mai jos sensul unei astfel de terminologii);

P(A\mid B)

este probabilitatea ipotezei A la apariția evenimentului B (probabilitate a posteriori);

P(B\mid A)

este probabilitatea de apariție a evenimentului B dacă ipoteza A este adevărată ;

P(B)

este probabilitatea totală de apariție a evenimentului B .

Dovada

Formula lui Bayes rezultă din definiția probabilității condiționate . Probabilitatea unui eveniment comun este exprimată în două moduri în termeni de probabilități condiționate $AB$

P(AB)=P(A\mid B)P(B)=P(B\mid A)P(A)

prin urmare $P(A\mid B)={\frac {P(AB)}{P(B)))={\frac {P(B\mid A)\,P(A)}{P(B )}}$

Calcularea P(B)

În probleme și aplicații statistice , acesta este de obicei calculat prin formula pentru probabilitatea totală a unui eveniment în funcție de mai multe ipoteze inconsistente cu o probabilitate totală de 1. $P(B)$

P(B)=\sum _{i=1}^{N}P(B\mid A_{i})P(A_{i})

unde probabilitățile sub semnul sumei sunt cunoscute sau pot fi estimate experimental.

În acest caz, formula Bayes este scrisă după cum urmează:

P(A_{j}\mid B)={\frac {P(B\mid A_{j})P(A_{j})}{\sum _{i=1}^{N}P (B\mid A_{i})P(A_{i})}}

„Sens fizic” și terminologie

Formula lui Bayes vă permite să „rearanjați cauza și efectul”: având în vedere faptul cunoscut al unui eveniment, calculați probabilitatea ca acesta să fi fost cauzat de o cauză dată. În același timp, este necesar să înțelegem că pentru aplicarea teoremei nu este obligatorie o relație cauzală între și . $A$ $B$

Evenimentele care reflectă acțiunea „cauzelor” în acest caz se numesc ipoteze , deoarece sunt presupusele evenimente care au provocat dat. Probabilitatea necondiționată a validității ipotezei se numește a priori (cât de probabilă este cauza în general ), iar cea condiționată, ținând cont de faptul evenimentului, se numește a posteriori (cât de probabil s-a dovedit motivul a fi , luând în considerare datele despre eveniment ).

Exemple

Exemplul 1

Lasă evenimentul - mașina nu pornește, iar ipoteza - nu există combustibil în rezervor. Evident, probabilitatea ca mașina să nu pornească dacă nu există combustibil în rezervor este egală cu unu. În consecință, probabilitatea posterioară că nu există combustibil în rezervor dacă mașina nu pornește, adică , este egală cu , adică raportul dintre probabilitatea anterioară că nu există combustibil în rezervor și probabilitatea ca masina nu porneste. De exemplu, dacă probabilitatea anterioară că nu există combustibil în rezervor este 0,01, iar probabilitatea ca mașina să nu pornească este de 0,02 și o mașină selectată aleatoriu să nu pornească, atunci probabilitatea că nu există combustibil în rezervorul său. este 0, 5. $B$ $A$ $P(B\mid A)$ $P(A\mid B)$ ${\frac {P(A)}{P(B))}$

Exemplul 2

Fie probabilitatea căsătoriei pentru primul lucrător , pentru al doilea lucrător - , iar pentru al treilea - . Primul a făcut părțile, al doilea a făcut părțile, iar al treilea a făcut părțile. Maistrul ia o parte aleatorie și se dovedește a fi defect. Întrebarea este, care este probabilitatea ca această piesă să fi fost realizată de al treilea muncitor? $p_{1}=0{,}9$ $p_{2}=0{,}5$ $p_{3}=0{,}2$ $n_{1}=800$ $n_{2}=600$ $n_{3}=900$

Un eveniment este o piesă defectuoasă, un eveniment este o piesă produsă de un muncitor . Apoi , unde , a . $B$ $A_{i}$ $i$ $P(A_{i})=n_{i}/N$ $N=n_{1}+n_{2}+n_{3}$ $P(B\mid A_{i})=p_{i}$

Conform formulei probabilității totale

P(B)=\sum _{i=1}^{3}P(B\mid A_{i})P(A_{i}).

Conform formulei Bayes, obținem:

P(A_{3}\mid B)={\frac {P(B\mid A_{3})P(A_{3})}{P(B)))={\frac {P( B\mid A_{3})P(A_{3})}{P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2 })+P(B\mid A_{3})P(A_{3})}}=

={\frac {p_{3}n_{3}/N}{p_{1}n_{1}/N+p_{2}n_{2}/N+p_{3}n_{3}/N} }={\frac {0{,}2\cdot 900/2300}{0{,}9\cdot 800/2300+0{,}5\cdot 600/2300+0{,}2\cdot 900/2300 }}=0{,}15.

Exemplul 3

Entomologul sugerează că gândacul poate fi o subspecie rară de gândac , deoarece are un model pe corpul său. La subspeciile rare, 98% dintre gândaci sunt modelați sau P(model | rar) = 0,98. Dintre gândacii obișnuiți, doar 5% sunt modelați: P(model | regulat) = 0,05. Există doar 0,1% din speciile rare de gândaci în întreaga populație: P(rar) = 0,001. Care este probabilitatea ca un gândac cu model să fie o subspecie rară, adică ce este P(rare | model) ?

Din teorema Bayes extinsă obținem (orice gândac poate fi rar sau comun): ${\begin{aligned}P({\text{rare}}\mid {\text{model)})&={\frac {P({\text{model}}\mid {\text{rare }})\times P({\text{rare}})}{P({\text{pattern}}\mid {\text{rare}})\times P({\text{rare}})\, +\,P({\text{model}}\mid {\text{plain)))\times P({\text{plain)))))\\[8pt]&={\frac {0{, }98\times 0{,}001}{0{,}98\times 0{,}001+0{,}05\times 0{,}999}}\\[8pt]&\aproximativ 0{,} 019.\end{aliniat}}$

Exemplul 4 este un paradox al teoremei lui Bayes

Să existe o boală cu o frecvență de distribuție în rândul populației de 0,001 și o metodă de examinare diagnostică care, cu o probabilitate de 0,9, identifică un pacient, dar în același timp are o probabilitate de 0,01 a unui rezultat fals pozitiv - un rezultat eronat detectarea unei boli la o persoană sănătoasă ( mai mult... ). Găsiți probabilitatea ca o persoană să fie sănătoasă dacă a fost recunoscută ca fiind bolnavă în timpul examinării.

Să desemnăm evenimentul în care examinarea a arătat că persoana este bolnavă ca „bolnav” cu ghilimele, bolnav - evenimentul că persoana este cu adevărat bolnavă, sănătoasă - evenimentul că persoana este cu adevărat sănătoasă. Apoi condițiile date sunt rescrise după cum urmează:

${\begin{aligned}P({\text {"bolnav}}\mid {\text {bolnav)})&=0{,}9\end{aliniat}}$

${\begin{aligned}P({\text {„bolnav”}}\mid {\text{sănătos)})&=0{,}01\end{aliniat}}$

${\begin{aligned}P({\text{ick}))&=0{,}001\end{aligned}}$ , în timp ce , înseamnă: ${\begin{aligned}P({\text{sănătos)}}&=1-P({\text {bolnav)})\end {aliniat)}$

${\begin{aligned}P({\text{sănătos)})&=0{,}999\end {aligned})$

Probabilitatea ca o persoană să fie sănătoasă, dacă a fost recunoscută ca fiind bolnavă, este egală cu probabilitatea condiționată:

${\begin{aligned}P({\text{sănătos}}\mid {\text {„bolnav”)))\end {aliniat}}$

Pentru a-l găsi, mai întâi calculăm probabilitatea totală de a fi recunoscut ca pacient:

${\begin{aligned}P({\text {"bolnav")))&=P({\text {"bolnav"}}\mid {\text {sănătos)})\cdot P({\ text{sănătos)))+P({\text{"bolnav"}}\mid {\text{bolnav)))\cdot P({\text{bolnav)))\\&=0{,}01\ ori 0{,}999+0{,}9\times 0{,}001=0{,}01089\end{aligned}}$

Probabilitatea ca o persoană să fie sănătoasă dacă rezultatul este „bolnav”:

${\begin{aligned}P({\text{sănătos}}\mid {\text{"bolnav")))&={\frac {P({\text{"bolnav"}}\mid { \text{sănătos)))\cdot P({\text{sănătos)))}{P({\text{"bolnav")))))\\&={\frac {0{,}01\times 0{,}999}{0{,}01089}}\aproximativ 0{,}917\end{aligned}}$

Astfel, 91,7% dintre persoanele a căror examinare a arătat rezultatul „bolnavi” sunt de fapt persoane sănătoase. Motivul pentru aceasta este că, în funcție de starea problemei, probabilitatea unui rezultat fals pozitiv, deși mică, este cu un ordin de mărime mai mare decât proporția de pacienți din grupul de persoane examinat.

Dacă rezultatele eronate ale sondajului pot fi considerate aleatorii, atunci o a doua examinare a aceleiași persoane va da un rezultat independent față de prima. În acest caz, pentru a reduce proporția de rezultate fals pozitive, este logic să reexaminați persoanele care au primit rezultatul „bolnav”. Probabilitatea ca o persoană să fie sănătoasă după ce a primit un rezultat repetat de „bolnav” poate fi calculată și folosind formula lui Bayes:

${\begin{aligned}P{\bigl (}({\text{sănătos}}\mid {\text{"bolnav"}}{\bigr )}\mid {\text{"bolnav"}} )&={\frac {P({\text{„bolnav”)\mid {\text{sănătos)))\cdot {\bigl (}P({\text{„bolnav”}}\mid {\ text {sănătos)))\cdot P({\text{sănătos))){\bigr )}}{P({\text{"bolnav"}}\mid {\text{sănătos)))\cdot {\ bigl (}P({\text{„bolnav”)\mid {\text{sănătos)))\cdot P({\text{sănătos))){\bigr )}+P({\text{„sănătos »} }\mid {\text{bolnav)))\cdot {\bigl (}P({\text{"bolnav}}\mid {\text{bolnav)))\cdot P({\text{bolnav }}) {\bigr )}}}\\&={\frac {0{,}01\times 0{,}01\times 0{,}999}{0{,}01\times 0{,} 01\times 0{,}999+0{,}9\times 0{,}9\times 0{,}001}}\approx 0{,}1098\end{aligned}}$

Opțiuni pentru interpretarea probabilităților în teorema lui Bayes

Matematic, teorema lui Bayes arată relația dintre probabilitatea evenimentului A și probabilitatea evenimentului B, P ( A ) și P ( B ), probabilitatea condiționată de apariție a evenimentului A cu B existent și apariția evenimentului B cu existente A, P ( A | B ) și P ( B | A).

În formă generală, formula Bayes arată astfel:

$P(A\mid B)={P(B\mid A)\,P(A)}/{P(B))$

Sensul expresiei depinde de modul în care sunt interpretate probabilitățile din formula dată.

Interpretarea lui Bayes

În interpretarea bayesiană, probabilitatea măsoară nivelul de încredere. Teorema lui Bayes leagă împreună credibilitatea unei ipoteze înainte și după luarea în considerare a dovezilor evidente. De exemplu, cineva a sugerat că atunci când o monedă este aruncată, aceasta va ateriza de 2 ori mai des cozile sus și capul în jos. Inițial, gradul de încredere că un astfel de eveniment se va întâmpla, moneda va cădea exact așa - 50%. Nivelul de încredere poate crește la 70% dacă ipoteza este susținută de dovezi. [ clarifica ]

Pentru ipoteza (ipoteza) A și demonstrația B

P(A) - probabilitatea a priori a ipotezei A, nivelul inițial de încredere în ipoteza A;
P(A | B) este probabilitatea posterioară a ipotezei A când are loc evenimentul B;
raportul P ( B | A )/ P ( B ) arată modul în care evenimentul B ajută la schimbarea nivelului de încredere în ipoteza A.

Interpretarea frecvenței

În interpretarea frecvenței, teorema lui Bayes calculează proporțiile anumitor rezultate ale unui eveniment. Să presupunem că un experiment a fost efectuat de mai multe ori și, în unele cazuri, a dus la rezultatele A și/sau B. Apoi:

P ( A ) - proporția de cazuri când experimentul a condus la rezultatul A.
P ( B ) - proporția de cazuri când experimentul a condus la rezultatul B.
P ( B | A ) - proporția cazurilor cu rezultat B dintre cazurile cu rezultat A.
P ( A | B ) este proporția cazurilor cu rezultatul A dintre cazurile cu rezultatul B.

Rolul teoremei lui Bayes poate fi cel mai bine înțeles din diagramele arborescente prezentate în dreapta. Diagramele demonstrează ordinea diferită de distribuție a evenimentelor prin prezența sau absența rezultatelor A și B. Teorema lui Bayes acționează ca o legătură între aceste distribuții.

Formulare

Evenimente

Formă simplă

Pentru evenimentele A și B , cu condiția ca P ( B ) ≠ 0,

P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)))\cdot

Multe suplimente la teorema lui Bayes afirmă că evenimentul B este cunoscut și trebuie să înțelegem modul în care cunoștințele despre evenimentul B afectează certitudinea că se va produce evenimentul A. În acest caz, numitorul ultimei expresii - probabilitatea apariția evenimentului B - este cunoscută; vrem să schimbăm A. Teorema lui Bayes arată că probabilitățile posterioare sunt proporționale cu numărătorul:

P(A\mid B)\propto P(A)\cdot P(B\mid A)\

(proporționalitatea lui A pentru un B dat ). Pe scurt, posteriorul este proporțional cu priorul (vezi Lee, 2012, capitolul 1).

Dacă evenimentele A 1 , A 2 , ... se exclud reciproc și sunt exhaustive, adică doar unul dintre evenimente este posibil, două evenimente nu se pot întâmpla simultan, putem determina coeficientul de proporționalitate, concentrându-ne pe faptul că probabilitățile lor ar trebui aduna pana la unu. De exemplu, pentru un anumit eveniment A , evenimentul A însuși și opusul său ¬ A se exclud reciproc și se completează. Notând factorul de proporționalitate ca C avem:

P(A\mid B)=c\cdot P(A)\cdot P(B\mid A)\

și .

P(\neg A\mid B)=c\cdot P(\neg A)\cdot P(B\mid \neg A)

Combinând aceste două formule, obținem:

c={\frac {1}{P(A)\cdot P(B\mid A)+P(\neg A)\cdot P(B\mid \neg A))).

Forma extinsă

Adesea , spațiul evenimentelor (cum ar fi { A j }) este definit în termeni de P ( A j ) și P ( B | A j ). În acest caz este util să se determine P ( B ) prin aplicarea formulei probabilității totale :

P(B)={\sum _{j}P(B\mid A_{j})P(A_{j})},

\implies P(A_{i}\mid B)={\frac {P(B\mid A_{i})\,P(A_{i})}{\sum \limits _{j}P (B\mid A_{j})\,P(A_{j})}}\cdot

În special

P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B\mid A)P(A)+P(B\mid \neg A )P(\neg A)}}

Variabile aleatoare continue

Se consideră spațiul evenimentelor elementare Ω format din două mărimi X și Y . Practic, teorema lui Bayes se aplică evenimentelor A = { X = x } și B = { Y = y }. Cu toate acestea, expresiile devin 0 în punctele în care variabila are o densitate de probabilitate finită . Pentru a continua să folosiți în mod util teorema lui Bayes, se poate afirma în termeni de densități adecvate (vezi Formula Derivare ).

Formă simplă

Dacă X este continuu și Y este discret, atunci

f_{X}(x\mid Y=y)={\frac {P(Y=y\mid X=x)\,f_{X}(x)}{P(Y=y))} .

Dacă X este discret și Y este continuu,

P(X=x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,P(X=x)}{f_{Y}(y))} .

Dacă atât X cât și Y sunt continui,

f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y) }}.

Forma extinsă

Spațiul evenimentului continuu este adesea definit ca numărător al condițiilor A. Spațiul evenimentului continuu este adesea reprezentat ca numărător. În viitor, este util să scăpați de numitor folosind formula pentru probabilitatea globală . Pentru 'f Y ( y ), aceasta devine o integrală:

f_{Y}(y)=\int _{-\infty }^{\infty }f_{Y}(y\mid X=\xi)\,f_{X}(\xi)\,d \xi.

Regula lui Bayes

Regula lui Bayes este o teoremă modificată a lui Bayes:

O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B)

Unde

\Lambda (A_{1}:A_{2}|B)={\frac {P(B\mid A_{1})}{P(B\mid A_{2))))}

Aceasta se numește regula lui Bayes sau raportul de probabilitate. Diferența în probabilitatea ca două evenimente să apară este pur și simplu raportul dintre probabilitățile celor două evenimente. În acest fel,

O(A_{1}:A_{2})={\frac {P(A_{1})}{P(A_{2})))

O(A_{1}:A_{2}\mid B)={\frac {P(A_{1}\mid B)}{P(A_{2}\mid B)))

Derivarea formulelor

Pentru evenimente

Teorema lui Bayes poate fi derivată din definiția probabilității :

P(A\mid B)={\frac {P(A\cap B)}{P(B))),{\text{if }}P(B)\neq 0,

P(B\mid A)={\frac {P(A\cap B)}{P(A))),{\text{if }}P(A)\neq 0,

\implies P(A\cap B)=P(A\mid B)\,P(B)=P(B\mid A)\,P(A),

\implies P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)))),{\text{if }}P(B ) \neq 0.

Pentru variabile aleatoare

Pentru două variabile aleatoare continue X și Y , teorema lui Bayes poate fi derivată în mod similar din definiția unei distribuții condiționate :

f_{X}(x\mid Y=y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)))

f_{Y}(y\mid X=x)={\frac {f_{X,Y}(x,y)}{f_{X}(x)))

\implies f_{X}(x\mid Y=y)={\frac {f_{Y}(y|X=x)\,f_{X}(x)}{f_{Y}(y) )}}.

Vezi și

Note

↑ Kahneman, et al, 2005 , pp. 153-160.
↑ Bayes, Thomas și Price, Richard (1763). „Un eseu pentru rezolvarea unei probleme în doctrina întâmplării. De către regretatul Rev. Domnul. Bayes, comunicat de dl. Price, într-o scrisoare către John Canton, MA și FRS.” Tranzacțiile filosofice ale Societății Regale din Londra 53: 370-418. (link indisponibil) . Consultat la 21 aprilie 2010. Arhivat din original pe 10 aprilie 2011. (nedefinit)
↑ Jeffreys, Harold (1973), Scientific Inference (ed. a treia), Cambridge University Press, p. 31, ISBN 978-0-521-18078-8

Literatură

Gmurman V. E. Teoria probabilităţii şi statistică matematică, - M . : Învăţământ superior. 2005
Judecarea sub incertitudine: euristică și părtinire / Daniel Kahneman, și colab. — 21. - Cambridge University Press, 2005. - 555 p. - ISBN 978-0-521-28414-1 .
Eliezer Yudkowsky . Explicația vizuală a teoremei lui Bayes

Pentru studii suplimentare

McGrayne, Sharon Bertsch. Teoria care nu ar muri: cum guvernarea lui Bayes a spart codul Enigma, a vânat submarinele rusești și a ieșit triumfător din două secole de controverse . - Yale University Press , 2011. - ISBN 978-0-300-18822-6 .
Andrew Gelman, John B. Carlin, Hal S. Stern și Donald B. Rubin (2003), Bayesian Data Analysis, a doua ediție, CRC Press.
Charles M. Grinstead și J. Laurie Snell (1997), „Introduction to Probability (2nd edition)”, American Mathematical Society (pdf gratuit disponibil [1] ) .
Pierre-Simon Laplace. (1774/1986), „Memorii privind probabilitatea cauzelor evenimentelor”, Statistical Science 1(3):364-378.
Peter M. Lee (2012), Statistica bayesiană: o introducere, Wiley.
Rosenthal, Jeffrey S. (2005): „Loviți de fulger: lumea curioasă a probabilităților”. Harper Collings.
Stephen M. Stigler (1986), „Laplace’s 1774 Memoir on Inverse Probability”, Statistical Science 1(3):359-363.
Stone, JV (2013). Capitolul 1 al cărții Bayes' Rule: A Tutorial Introduction , Universitatea din Sheffield, Anglia.

Link -uri

Teoria care nu ar muri de Sharon Bertsch McGrayne Recenzie de carte New York Times de John Allen Paulos pe 5 august 2011
Weisstein, Teorema lui Eric W. Bayes (engleză) pe site-ul Wolfram MathWorld .
Teorema lui Bayes (engleză) pe site-ul PlanetMath .
Teorema Bayes și nebunia predicției
Un tutorial despre probabilitate și teorema lui Bayes conceput pentru studenții la psihologie de la Universitatea Oxford
O explicație intuitivă a teoremei lui Bayes de Eliezer S. Yudkowsky

Dicționare și enciclopedii	mare chinezesc Mare norvegian Rusă mare universal lituanian Britannica (online)
În cataloagele bibliografice	GND : 4144221-0