Evaluarea bayesiană a unei soluții

În statistica matematică și teoria deciziei, o estimare de decizie bayesiană este o estimare statistică care minimizează așteptarea posterioară a unei funcții de pierdere (adică așteptarea posterioară a pierderii ). Cu alte cuvinte, maximizează așteptarea posterioară a funcției de utilitate . În cadrul teoriei bayesiene , această estimare poate fi definită ca estimarea maximului a posteriori .

Definiție

Să presupunem că parametrul necunoscut are o distribuție anterioară . Fie o estimare a unui parametru bazată pe unele măsurători ale , și fie o funcție de pierdere pătratică a , iar riscul bayesian al parametrului este , unde media este preluată asupra distribuției lui : aceasta definește funcția de risc ca o funcție a . Atunci o estimare bayesiană va fi numită o astfel de estimare care minimizează riscul bayesian printre toate celelalte estimări. În mod egal, estimatorul care minimizează pierderea așteptată posterior pentru fiecare x minimizează și riscul bayesian și este astfel un estimator bayesian. [unu] $\theta$ $\pi$ ${\hat {\theta }}={\hat {\theta }}(x)$ $\theta$ $X$ $L(\theta,{\hat {\theta )))$ ${\pălărie {\theta ))$ $E_{\pi}(L(\theta,{\hat {\theta ))))$ $\theta$ ${\pălărie {\theta ))$ ${\pălărie {\theta ))$ $E(L(\theta,{\hat {\theta}))\mid x)$

În cazul unei distribuții anterioare incorecte , o estimare care minimizează așteptarea pierderii posterioare pentru fiecare x se numește estimare bayesiană generalizată . [2]

Exemple

Estimarea erorii pătratice medii minime

Funcția de risc cel mai frecvent utilizată pentru estimarea bayesiană este funcția de eroare pătratică medie (denumită în literatura engleză MSE). Eroarea pătratică medie minimă MSE este definită ca $\mathrm {MSE} =E\left[({\widehat {\theta}}(x)-\theta )^{2}\right],$

unde așteptarea matematică este luată din distribuția comună și . $\theta$ $X$

Mijloc posterior

Dacă folosim MSE ca funcție de risc, atunci estimarea bayesiană a parametrului necunoscut este pur și simplu media distribuției posterioare : [3]

${\widehat {\theta }}(x)=E[\theta |x]=\int \theta p(\theta |x)\,d\theta .$

Aceasta este cunoscută sub numele de estimarea erorii medii pătratice minime. Riscul bayesian, în acest caz, este varianța posterioară.

Riscul bayesian pentru conjugatul anterior

În cazurile în care nu există niciun motiv întemeiat pentru a prefera un antecedent în detrimentul altuia, anteriorul conjugat este folosit pentru simplitate . Este definită ca o distribuție anterioară aparținând unei familii parametrice a cărei distribuție posterioară rezultată aparține și acelei familii. Aceasta este o proprietate importantă deoarece estimarea bayesiană, precum și caracteristicile sale statistice ( varianță , interval de încredere etc.) pot fi derivate din distribuția posterioară.

Este aplicabil în special în estimarea secvenţială, unde distribuţia posterioară a măsurătorilor curente este utilizată ca anterioară în măsurarea următoare. Cu fiecare nouă iterație a unor astfel de măsurători, distribuția posterioară devine de obicei mai complexă și, adesea, estimarea bayesiană nu poate fi calculată fără utilizarea metodelor numerice .

Câteva exemple de priorități conjugate:

Dacă x|θ este distribuit normal , x|θ ~ N(θ,σ 2 ) și distribuția anterioară este de asemenea normală, θ ~ N(μ,τ 2 ), atunci distribuția posterioară este de asemenea distribuită normal și estimatorul bayesian sub MSE este dat de:

${\widehat {\theta }}(x)={\frac {\sigma ^{2}}{\sigma ^{2}+\tau ^{2}}}\mu +{\frac {\ tau ^{2}}{\sigma ^{2}+\tau ^{2}}}x.$

Dacă x 1 ,…,x n sunt variabile aleatoare Poisson în mod egal independente x i |θ ~ P(θ), iar dacă a priori este distribuit peste distribuția gamma θ ~ G(a, b), atunci posteriorul are și o distribuția gamma, iar estimarea bayesiană sub MSE este dată de:

${\widehat {\theta }}(X)={\frac {n{\overline {X}}+a}{n+{\frac {1}{b}}}}.$

Dacă x 1 ,…,x n sunt variabile aleatoare independente uniform distribuite în mod continuu x i |θ~U(0,θ), iar priorul are o distribuție Pareto θ~Pa(θ 0 ,a), atunci și posteriorul are o distribuție Pareto, iar estimarea bayesiană sub MSE este dată astfel:

${\widehat {\theta }}(X)={\frac {(a+n)\max {(\theta _{0},x_{1},...,x_{n})} }{a+n-1}}.$

Funcții alternative de risc

Funcțiile de risc sunt alese în funcție de modul în care este măsurat intervalul dintre estimare și parametrul necunoscut. MSE este cea mai frecvent utilizată funcție de risc, în primul rând datorită simplității sale. Cu toate acestea, uneori sunt utilizate funcții alternative de risc. Următoarele sunt câteva exemple de astfel de alternative. În plus, funcția de distribuție generalizată posterioară este notată ca . $F$

Mediana posterioară și alte cuantile

O funcție de pierdere „liniară” cu , alegând mediana distribuției posterioare ca estimare bayesiană: $a>0$

L(\theta ,{\widehat {\theta )))=a|\theta -{\widehat {\theta }}|

F({\widehat {\theta ))(x)|X)={\tfrac {1}{2)).

O altă funcție de pierdere „liniară” care atribuie diferite „greutăți” în partea de sus sau de jos a estimării. Selectează o cuantilă din distribuția posterioară și este o generalizare a funcției de pierdere anterioare. $a,b>0$

L(\theta,{\widehat {\theta}))={\begin{cases}a|\theta -{\widehat {\theta }}|,&{\mbox{for }}\theta - {\widehat {\theta }}\geq 0\\b|\theta -{\widehat {\theta }}|,&{\mbox{pentru }}\theta -{\widehat {\theta }}<0\ sfârșit{cazuri}}

F({\widehat {\theta ))(x)|X)={\frac {a}{a+b)).

Estimarea maximului a posteriori

Următoarea funcție de pierdere este mai complexă: stabilește o estimare a maximului posterior , sau un punct apropiat de acesta, în funcție de curbura și caracteristicile distribuției posterioare. Valorile mici ale parametrilor sunt recomandate pentru utilizarea metodei ca o aproximare $K>0$

( ): $L>0$

L(\theta,{\widehat {\theta )))={\begin{cases}0,&{\mbox{for }}|\theta -{\widehat {\theta }}|<K\ \L,&{\mbox{pentru }}|\theta -{\widehat {\theta }}|\geq K.\end{cases}}

Deși funcția de eroare medie pătratică este cea mai comună și mai validă, pot fi utilizate și alte funcții de pierdere.

Estimatori bayesieni generalizați

Până acum s-a presupus că distribuția anterioară este distribuția de probabilitate adevărată, deoarece $p$

\int p(\theta )d\theta =1.

Cu toate acestea, uneori aceasta poate fi o cerință prea strictă. De exemplu, nu există o astfel de distribuție (care acoperă întreaga mulțime R de numere reale) pentru care fiecare număr real ar fi la fel de posibil. Totuși, într-un anumit sens, o astfel de distribuție pare a fi o alegere firească pentru un prior neinformativ , adică un prior care nu favorizează o valoare fixă a parametrului necunoscut. Este încă posibil să se definească funcția , dar aceasta nu va mai fi o distribuție de probabilitate corectă, deoarece are o masă infinită. $p(\theta )=1$

\int {p(\theta )d\theta}=\infty .

Astfel de măsuri stabilite sunt distribuții anterioare incorecte . $p(\theta)$

Utilizarea priorităților incorecte înseamnă că riscul bayesian nu este definit (deoarece priorul dat nu este, de fapt, o distribuție de probabilitate și nu putem lua din ea valoarea așteptată ). Prin urmare, este incorect să vorbim despre un estimator bayesian care minimizează riscul bayesian. Oricum ar fi, se poate calcula distribuția posterioară ca

p(\theta |x)={\frac {p(x|\theta )p(\theta )}{\int p(x|\theta )p(\theta )d\theta )).

Rețineți că teorema lui Bayes se aplică numai distribuțiilor bine formate, deci nu este posibil să o utilizați aici. Cu toate acestea, există adesea cazuri în care distribuția posterioară rezultată va permite astfel de distribuții de probabilitate. În acest caz, pierderea posterior așteptată

$\int {L(\theta,a)p(\theta |x)d\theta }$

bine definite și finite. Reamintim că pentru o distribuție corectă, estimările bayesiene minimizează pierderea posterioară. Când distribuția anterioară este incorectă, estimatorul care minimizează așteptarea posterioară a pierderii se numește estimator bayesian generalizat .

Estimări empirice bayesiene

Estimatorii bayesieni produși prin metoda empirică Bayes sunt numiți estimatori bayesieni empirici . Această metodă permite utilizarea datelor suport în dezvoltarea unui estimator bayesian. Ele pot fi obținute empiric prin observarea parametrilor adiacenți. Acest lucru se face din ipoteza că parametrii estimați sunt luați din aceleași date anterioare. De exemplu, dacă se fac observații independente pentru diferiți parametri, uneori este posibil să se îmbunătățească eficiența estimării unui anumit parametru prin utilizarea datelor din alte observații.

Există tehnici parametrice și neparametrice pentru estimările empirice bayesiene. Cele parametrice sunt de preferat deoarece sunt mai aplicabile și mai precise pe cantități mici de date. [patru]

Proprietăți

Permisibilitate

Regulile bayesiene care au un risc bayesian finit sunt de obicei valide. Următoarele sunt câteva exemple de teoreme de admisibilitate.

Dacă regula de decizie bayesiană este unică, atunci este acceptabilă. [5] De exemplu, după cum sa menționat mai sus, sub eroarea pătratică medie (MSE), regula bayesiană este unică și, prin urmare, validă.
Dacă parametrul θ aparține unei mulțimi discrete , atunci toate regulile bayesiene sunt valabile.
Dacă parametrul θ aparține unui continuu (mulțime nediscretă) și funcția de risc R(θ,δ) este continuă în θ pentru fiecare δ, atunci toate regulile bayesiene sunt valabile.

În același timp, regula bayesiană generalizată adesea nu definește riscul bayesian în cazul unei distribuții anterioare incorecte. Aceste reguli sunt adesea invalide și validarea lor poate fi dificilă. De exemplu, o estimare bayesiană generalizată a deplasării parametrului θ, bazată pe un eșantion cu o distribuție normală, este invalidă pentru . Acest paradox este cunoscut sub numele de paradoxul lui Stein. Exemplul lui $p>2$

Exemple practice de utilizare a estimărilor bayesiene

Internet Movie Database folosește o formulă specială pentru a calcula și compara evaluările filmelor de către utilizatori . Următoarea formulă bayesiană a fost utilizată inițial pentru a calcula media ponderată pentru primele 250 de filme, deși formula sa schimbat de atunci:

W={Rv+Cm \over v+m}\

Unde:

W\

= rating ponderat

R\

= evaluarea medie a filmului, exprimată ca număr de la 1 la 10 = (evaluare)

v\

= numărul de voturi pentru film = (voturi)

m\

= pondere dată de rating a priori (estimarea se bazează pe distribuția ratingului mediu între toate filmele)

C\

= evaluare medie pentru toate filmele (în prezent 7,0)

Abordarea IMDB asigură că un film evaluat de câteva sute de ori exclusiv cu nota 10 nu poate urca mai sus decât, de exemplu, Nașul, care are un rating mediu de 9,2 de la peste 500.000 de utilizatori.

Vezi și

Programare bayesiană

Note

↑ Lehmann și Casella, Teorema 4.1.1
↑ Lehmann și Casella, Definiția 4.2.9
↑ Jaynes, E.T. Teoria probabilității: logica științei . - 5. print.. - Cambridge [ua]: Cambridge University Press , 2007. - P. 172. - ISBN 978-0-521-59271-0 .
↑ Berger (1980), secțiunea 4.5.
↑ Lehmann și Casella (1998), Teorema 5.2.4.

Link -uri

http://info.alnam.ru/book_osr.php?id=91 Arhivat 24 iulie 2017 la Wayback Machine
http://lib.alnam.ru/book_inst.php?id=24 Arhivat 7 decembrie 2016 la Wayback Machine
O explicație intuitivă a teoremei lui Bayes Arhivată 24 august 2015 la Wayback Machine