Probabilitatea bayesiană

Probabilitatea bayesiană este o interpretare a conceptului de probabilitate folosit în teoria bayesiană. Probabilitatea este definită ca gradul de încredere în adevărul unei propoziții . Pentru a determina gradul de încredere în adevărul unei judecăți atunci când se primește informații noi, teoria bayesiană folosește teorema lui Bayes .

Istorie

Teoria bayesiană și probabilitatea bayesiană sunt numite după Thomas Bayes (1702–1761), care a demonstrat un caz special al teoremei numită acum teorema lui Bayes . Termenul „bayesian” a intrat în uz în jurul anului 1950 , iar cea mai mare parte a ceea ce se numește acum „bayesian” nu este direct legat de Bayes. Laplace a dovedit un caz mai general al teoremei lui Bayes și l-a folosit pentru a rezolva probleme de mecanică cerească și statistică medicală. Laplace, însă, nu a considerat această teoremă importantă pentru dezvoltarea teoriei probabilităților. El a aderat la definiția clasică a probabilității .

Frank Ramsey , în The Foundations of Mathematics (1931), a fost primul care a prezentat ideea utilizării certitudinii subiective pentru a determina probabilitatea. Ramsey a propus această definiție ca o completare la definiția frecvenței , care era mai dezvoltată la acea vreme. Statisticianul Bruno de Finetti a aplicat ideile lui Ramsey în 1937 ca alternativă la determinarea frecvenței. Leonard Savage a extins această idee în The Foundations of Statistics (1954).

Au existat încercări de a defini formal conceptul intuitiv de „grad de certitudine”. Definiția cea mai generală se bazează pe un pariu : gradul de certitudine este reflectat de valoarea pariului pe care cineva este dispus să parieze că o propoziție este adevărată.

Opțiuni

Variații în interpretarea bayesiană a probabilității: probabilitatea subiectivă și probabilitatea logică .

Relația cu probabilitatea de frecvență

Probabilitatea bayesiană este în contrast cu probabilitatea de frecvență , în care probabilitatea este determinată de frecvența relativă de apariție a unui eveniment aleatoriu pe observații suficient de lungi.

Statistica matematică , bazată pe probabilitatea de frecvență , a fost dezvoltată de R. A. Fisher , E. Pearson și E. Neumann în prima jumătate a secolului al XX-lea. A. Kolmogorov a folosit și interpretarea frecvenței atunci când și-a descris axiomatica bazată pe integrala Lebesgue .

Diferența dintre interpretarea bayesiană și cea de frecvență joacă un rol important în statisticile practice. De exemplu, atunci când comparăm două ipoteze pe aceleași date, teoria testării ipotezelor statistice , bazată pe interpretarea frecvenței, vă permite să respingeți sau nu modelele de ipoteze. În același timp, un model adecvat poate fi respins din cauza faptului că un alt model pare mai adecvat pe aceste date. Metodele bayesiene, dimpotrivă, în funcție de datele de intrare, dau probabilitatea posterioară de a fi adecvate pentru fiecare dintre ipoteze.

Aplicație

Începând cu anii 1950, teoria bayesiană și probabilitatea bayesiană au fost aplicate pe scară largă prin, de exemplu, teorema lui Cox și principiul entropiei maxime . Pentru multi[ ce? ] , metodele bayesiene dau rezultate mai bune decât metodele bazate pe probabilitatea de frecvență .

Teoria bayesiană este folosită ca metodă de adaptare a probabilităților existente la datele experimentale nou obținute.

Teoria bayesiană este folosită pentru a construi filtre inteligente folosite, de exemplu, pentru a filtra e-mailurile spam .

Probabilități de probabilități

Un detaliu neplăcut asociat cu utilizarea probabilității bayesiene este că nu este suficient să specificați probabilitatea pentru a înțelege natura acesteia. Luați în considerare următoarele situații:

Aveți o cutie de bile albe și negre și nu aveți informații despre numărul lor.
Ai o cutie de bile albe și negre. Ai scos bile la întâmplare, exact jumătate dintre ele s-au dovedit a fi negre. $n$
Ai o cutie de bile albe și negre și știi că exact jumătate dintre ele sunt negre.

Probabilitatea bayesiană de a „trage următoarea bilă neagră” în fiecare dintre aceste cazuri este de 0,5. Keynes a numit aceasta problema „gradului de certitudine”. Această problemă poate fi rezolvată prin introducerea probabilității unei probabilități (numită metaprobabilitate ).

1. Să presupunem că aveți o cutie de bile albe și negre și nu aveți informații despre câte bile de ce culoare sunt în ea. Fie - aceasta este o afirmație conform căreia probabilitatea de a extrage o bilă neagră în continuare este , atunci distribuția de probabilitate va fi o distribuție beta :

\theta=p

p

\forall \theta \in [0,1]

f(\theta)=\mathrm {B} (\alpha _{B}=1,\alpha _{W}=1)={\frac {\Gamma (\alpha _{B}+\alpha _{W})}{\Gamma (\alpha _{B})\cdot \Gamma (\alpha _{W})}}\theta ^{\alpha _{B}-1}(1-\theta ) ^{\alpha _{W}-1}={\frac {\Gamma (2)}{\Gamma (1)\cdot \Gamma (1)))\theta ^{0}(1-\theta )^ {0}=1

Presupunând că extragerile de mingi sunt independente și echiprobabile, distribuția de probabilitate , după extragerea m bile negre și n bile albe, va fi de asemenea o distribuție Beta cu parametrii , .

P(\theta \mid m,n)

\alpha _{B}=1+m

\alpha _{W}=1+n

2. Să presupunem că ați extras bile dintr-o cutie , jumătate dintre ele s-au dovedit a fi negre, iar restul - albe. În acest caz, distribuția de probabilitate va fi o distribuție beta . Așteptarea maximă a posteriori este .

n

\theta=p

\mathrm {B} \left({\frac {n}{2}}+1,{\frac {n}{2}}+1\right)

\theta

\theta _{MAP}={\frac ({\frac {n}{2}}+1}{n+2}}=0{,}5

3. Știi că exact jumătate dintre bile sunt negre, iar restul sunt albe. În acest caz, probabilitatea este 0,5 cu o probabilitate de 1: .

f(\theta )=\delta (\theta -0{,}5)

Vezi și

Link -uri

Computerworld QuickStudy: logica bayesiană și filtre
Societatea Internațională pentru Analiză Bayesiană Arhivată 21 septembrie 2021 la Wayback Machine Explicație mai simplă a analizei Bayesiane
Manual on-line: Teoria informațiilor, inferența și algoritmii de învățare Arhivat 17 februarie 2016 la Wayback Machine , de David MacKay, conține multe capitole despre metode bayesiene, inclusiv exemple introductive; argumente în favoarea metodelor bayesiene (în stilul lui Edwin Jaynes ); metode Monte Carlo de ultimă generație , metode de transmitere a mesajelor și metode variaționale ; și exemple care ilustrează conexiunile intime dintre inferența bayesiană și compresia datelor .
Un frumos tutorial introductiv on-line la probabilitatea bayesiană Arhivat 4 mai 2009 la Wayback Machine de la Universitatea Queen Mary din Londra
O explicație intuitivă a raționamentului bayesian O introducere foarte blândă de Eliezer Yudkowsky
Jaynes, ET (1998) Probability Theory: The Logic of Science Arhivat 8 noiembrie 2020 la Wayback Machine .
Bretthorst, G. Larry, 1988, Bayesian Spectrum Analysis and Parameter Estimation Arhivat 14 mai 2011 la Wayback Machine în Lecture Notes in Statistics, 48, Springer-Verlag, New York, New York;
http://www-groups.dcs.st-andrews.ac.uk/history/Mathematicians/Ramsey.html Arhivat la 9 iunie 2019 la Wayback Machine
David Howie: Interpretarea probabilității, controverselor și evoluțiilor la începutul secolului al XX-lea , Cambridge University Press, 2002, ISBN 0-521-81251-8
Colin Howson și Peter Urbach: Scientific Reasoning: The Bayesian Approach , Open Court Publishing, ediția a doua, 1993, ISBN 0-8126-9235-7 , se concentrează pe bazele filozofice ale statisticilor bayesiene și frecventiste. Susține interpretarea subiectivă a probabilității.
Luc Bovens și Stephan Hartmann: Epistemologie Bayesiană . Oxford: Oxford University Press 2003. Extinde programul Bayesian la scenarii de decizie mai complexe (de exemplu, martori și instrumente de măsurare dependente și parțial de încredere) folosind modele Bayesian Network. Cartea demonstrează, de asemenea, o teoremă de imposibilitate pentru ordonările de coerență peste mulțimi de informații și oferă o măsură care induce o ordonare parțială a coerenței.
Jeff Miller „Cele mai vechi utilizări cunoscute ale unora dintre cuvintele matematicii (B)”
James Franklin The Science of Conjecture: Evidence and Probability Before Pascal Arhivat 7 februarie 2008 la Wayback Machine , istorie dintr-un punct de vedere bayesian.
Paul Graham „Filtrarea spam-ului Bayesian” Arhivat 21 iunie 2010 la Wayback Machine
novomind AG „Instrument de clasificare Outlook bazat pe filtrarea bayesiană”
Analiza deciziei Howard Raiffa : Prelegeri introductive privind alegerile în condiții de incertitudine . McGraw Hill, Seria personalizată de colegiu. (1997) ISBN 0-07-052579-X
Devender Sivia, Analiza datelor: un tutorial bayesian . Oxford: Clarendon Press (1996), pp. 7–8. ISBN 0-19-851889-7
Henk Tijms: Understanding Probability , Cambridge University Press, 2004
Portretul lui Thomas Bayes este autentic? Cine este acest domn? Cand si unde s-a nascut el? Arhivat 21 octombrie 2017 la Wayback Machine Buletinul IMS , vol. 17 (1988), nr. 3, pp. 276–278
Filtru Bayesian Spam Arhivat 28 februarie 2021 la Wayback Machine pentru Microsoft Outlook
Întrebați experții despre Teorema lui Bayes, de la Scientific American
Există o dezbatere continuă în rândul statisticienilor cu privire la definirea corectă a probabilității. [1] Arhivat la 30 iunie 2007 la Wayback Machine