Metoda maximă de probabilitate

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită la 19 ianuarie 2021; verificările necesită 4 modificări .

Metoda maximă probabilitate sau metoda maximă probabilitate (MMP, ML, MLE - Engleză m aximum l ikelihood estimation ) în statistica matematică este o metodă de estimare a unui parametru necunoscut prin maximizarea funcției de probabilitate [1] . Pe baza ipotezei că toate informațiile despre un eșantion statistic sunt conținute în funcția de probabilitate.

Metoda maximă de probabilitate a fost analizată, recomandată și popularizată foarte mult de R. Fischer între 1912 și 1922 (deși fusese folosită anterior de Gauss , Laplace și alții).

Estimarea cu probabilitatea maximă este o tehnică statistică populară care este utilizată pentru a crea un model statistic din date și pentru a oferi o estimare a parametrilor modelului.

Metoda maximei probabilități corespunde multor metode de estimare cunoscute în domeniul statisticii. De exemplu, sunteți interesat de un astfel de parametru antropometric precum înălțimea locuitorilor Rusiei. Să presupunem că aveți date despre creșterea unui anumit număr de oameni, nu a întregii populații. În plus, se presupune că creșterea este o cantitate distribuită normal, cu varianță și medie necunoscute . Media și varianța creșterii în eșantion sunt probabilitatea maximă pentru media și varianța întregii populații.

Pentru un set de date fix și un model probabilistic de bază, folosind metoda maximei probabilități, vom obține valorile parametrilor modelului care fac datele „mai aproape” de cea reală. Estimarea probabilității maxime oferă o modalitate unică și ușoară de a determina soluții în cazul unei distribuții normale.

Metoda de estimare a probabilității maxime este aplicată unei game largi de modele statistice, inclusiv:

modele liniare și modele liniare generalizate;
analiza factorială ;
modelarea ecuațiilor structurale;
multe situații, sub testarea ipotezelor și formarea intervalului de încredere;
modele discrete la alegere.

Esența metodei

Să existe un eșantion din distribuție , unde sunt parametrii necunoscuți. Fie funcția de probabilitate , unde . Estimarea punctului $X_{1},\ldots ,X_{n}$ $\mathbb {P} _{\theta }$ $\theta \în \Theta$ $L({\mathbf {x}}\mid \theta )\colon \Theta \to {\mathbb {R}}$ ${\mathbf {x}}\in {\mathbb {R}}^{n}$

{\hat {\theta }}_{\mathrm {M\Pi } }={\hat {\theta }}_{\mathrm {M\Pi } }(X_{1},\ldots, X_ {n})=\mathop {\rm {argmax)) \limits _{\theta \in \Theta }L(X_{1},\ldots ,X_{n}\mid \theta )

se numește estimarea de probabilitate maximă a parametrului . Astfel, estimarea probabilității maxime este cea care maximizează funcția de probabilitate pentru o implementare de eșantionare fixă. $\theta$

Adesea, funcția log-probabilitate este utilizată în locul funcției de probabilitate . Deoarece funcția crește monoton pe întregul domeniu de definiție, maximul oricărei funcție este maximul funcției și invers. În acest fel, $L$ $l=\ln L$ $x\la \ln x,\;x>0$ $L(\theta)$ $\ln L(\theta )$

{\hat {\theta }}_{\mathrm {M\Pi } }=\mathop {\rm {argmax}} \limits _{\theta \in \Theta }l(X_{1},\ ldots ,X_{n}\mid \theta )

Dacă funcția de probabilitate este diferențiabilă, atunci condiția necesară pentru extremum este egalitatea gradientului său la zero :

g(\theta )={\frac {\partial l({\mathbf {x)),\theta _{0})}{\partial \theta }}=0

Condiția extremum suficientă poate fi formulată ca definiție negativă a Hessianului , matricea derivatelor secunde:

H={\frac {\partial ^{2}l({\mathbf {x)),\theta _{0})}{\partial \theta \partial \theta ^{T))}

Importantă pentru evaluarea proprietăților estimărilor metodei maximă probabilitate este așa-numita matrice informațională , egală prin definiție:

I(\theta)=E[g(\theta)g(\theta)^{T}]

În punctul optim, matricea informațională coincide cu așteptarea Hessianului, luată cu semnul minus:

I=-E(H_{0})

Proprietăți

Estimatorii de probabilitate maximă pot fi, în general, părtinitori (a se vedea exemple), dar sunt estimatori consecvenți , eficienți asimptotic și normali asimptotic . Normalitatea asimptotică înseamnă că

{\sqrt {n}}({\hat {\theta }}-\theta ){\xrightarrow d}N(0,{\boldsymbol {I}}_({\infty }}^{{-1}} )

unde este matricea informațională asimptotică. ${\boldsymbol {I}}_{{\infty }}=-\lim _{{n\rightarrow \infty }}{\frac {1}{n}}{\mathbb {E}}({\boldsymbol { H))$

Eficiența asimptotică înseamnă că matricea de covarianță asimptotică este limita inferioară pentru toți estimatorii normali asimptotic consecvenți. ${\boldsymbol {I}}_{{\infty }}^{{-1}}$

Dacă este estimarea probabilității maxime, parametrii , atunci este estimarea probabilității maxime pentru , unde g este o funcție continuă (invarianța funcțională). Astfel, legile de distribuție a datelor pot fi parametrizate în diverse moduri. ${\pălărie {\theta ))$ $\theta$ $g({\ pălărie {\theta )))$ $g(\theta)$
De asemenea, o condiție necesară pentru evaluările MP este implementarea unui sistem de forma: $\left\{{\begin{matrix}{\frac {\partial }{\partial \theta _{1)}}\ln {L_{n))\left({\vec {x)), {\vec {\theta }}\right)&=&0\\\cdots &\cdots &\\{\frac {\partial }{\partial \theta _{k}}}\ln {L_{n}} \left({\vec {x)),{\vec {\theta }}\right)&=&0\\\end{matrice}}\right.$

unde este funcția de probabilitate a mărimii eșantionului

L_{n}\left({\vec {x)),{\vec {\theta }}\right)=\prod _{i=1}^{n}L_{1}\left(x_ {i},{\vec {\theta }}\right)

{\vec {x}}

n

Exemple

Fie un eșantion independent dintr-o distribuție uniformă continuă pe intervalul , unde este un parametru necunoscut. Atunci funcția de probabilitate are forma $X_{1},\ldots ,X_{n}\sim {\mathrm {U}}[0,\theta ]$ $[0,\theta]$ $\theta >0$

f({\mathbf {x}}\mid \theta )={\begin{cases}{\frac {1}{\theta ^{n}}},&{\mathbf {x}}\in [0, \theta ]^{n}\subset {\mathbb {R}}^{n}\\0,&{\mathbf {x}}\nu \in [0,\theta ]^{n}\end{cases }}.

Ultima egalitate poate fi rescrisă astfel:

f({\mathbf {x}}\mid \theta )={\begin{cases}{\frac {1}{\theta ^{n}}},&\theta \geq \max(x_{1}, \ldots ,x_{n})\\0,&\theta <\max(x_{1},\ldots ,x_{n})\end{cases}},

unde , ceea ce arată că funcția de probabilitate atinge maximul în punctul . În acest fel ${\mathbf {x}}=(x_{1},\ldots ,x_{n})^{{\top }}$ $\theta =\max(x_{1},\ldots ,x_{n})$

{\hat {\theta }}_{({\mathrm {M\Pi }}}}=\max(X_{1},\ldots ,X_{n})

O astfel de estimare va fi părtinitoare: , de unde $P\{\max(X_{1},\ldots ,X_{n})\leq x\}=\left({\frac {x}{\theta }}\right)^{n}$ $E{\hat {\theta }}_{({\mathrm {M\Pi }}}}=\int _{0}^{\theta }xd\left({\frac {x}{\theta }} \right)^{n}={\frac {n}{n+1}}\theta$

Fie un eșantion independent dintr-o distribuție normală cu medie și varianță necunoscute . Să construim o estimare a probabilității maxime pentru un vector necunoscut de parametri . Funcția de log-probabilitate ia forma $X_{1},\ldots ,X_{n}\sim \mathrm {N} (\mu ,\sigma ^{2})$ $\left(\widehat {\mu }_{({\mathrm {M\Pi }}}},\widehat {\sigma ^{2}}_{({\mathrm {M\Pi }}}}\right )^{{{\rm {T))))$ $\left(\mu ,\sigma ^{2}\right)^{{{\rm {T))))$

L({\mathbf {x}}\mid \mu ,\sigma ^{2})=-{\frac {n}{2}}\ln(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum \limits _{{i=1}}^{n}(X_{i}-\mu )^{2}

Pentru a-și găsi maximul, echivalăm derivatele parțiale cu zero :

\left\{{\begin{matrix}\displaystyle {\frac {\partial }{\partial \mu }}L({\mathbf {x}}\mid \mu ,\sigma ^{2})=0\ \[10pt]\displaystyle {\frac {\partial }{\partial \sigma ^{2)}}L({\mathbf {x))\mid \mu ,\sigma ^{2})=0\\\ sfârșit {matrice}}\ dreapta.\ Săgeată la dreapta \left\{{\begin{matrice}\displaystyle {\frac {\sum \limits _{{i=1}}^{n}X_{i}-n\mu }{\sigma ^{2}}}=0\\[10pt]\displaystyle -{\frac {n}{2\sigma ^{2}}}+{\frac {\sum \limits _{{i= 1}}^{n}(X_{i}-\mu )^{2}}{2\left(\sigma ^{2}\right)^{2}}}=0\\\end{matrix} }\dreapta.,

Unde

{\hat {\mu }}_{\mathrm {M\Pi } }={\overline {X}}

este media eșantionului și

\widehat {\sigma ^{2}}_{{{\mathrm {M\Pi }}}}=S_{n}^{2}

este varianța eșantionului .

Metoda de aplicare [2]

Procesarea experimentului

Să presupunem că măsurăm o cantitate . După ce am făcut o măsurătoare, am obținut valoarea acesteia cu o eroare : . Să scriem densitatea de probabilitate ca valoarea să ia valoarea : ${\textstyle a}$ ${\textstyle x_{1))$ ${\textstyle \sigma _{1}}$ ${\textstyle x_{1}\pm \sigma _{1)}$ ${\textstyle a}$ ${\textstyle x_{1))$

$W(a)={\frac {1}{\sqrt {2\pi \sigma _{1}^{2)}))\exp \left[-{\frac {(x_{1}- a)^{2}}{2\sigma _{1}^{2}}}\right]$ .

Acum să presupunem că am luat mai multe astfel de măsurători și am obținut . Densitatea de probabilitate pe care cantitatea va lua valorile va fi: ${\textstyle x_{1}\pm \sigma _{1},x_{2}\pm \sigma _{2}\ldots x_{n}\pm \sigma _{n)}$ ${\textstyle a}$ ${\textstyle x_{1},x_{2}\ldots x_{n))$

$W(a)=\prod _{i=1}^{n}({\frac {1}{\sqrt {2\pi \sigma _{i}^{2)}))\exp \ stânga[-{\frac {(x_{i}-a)^{2}}{2\sigma _{i}^{2}}}\right]}$ .

Această funcție se numește funcție de probabilitate. Valoarea cea mai probabilă a valorii măsurate este determinată de maximul funcției de probabilitate. Mai convenabilă este funcția de log-probabilitate: ${\textstyle a^{*}}$

$L(a)=\ln W(a)=-\sum _{i=1}^{n}{\frac {(x_{i}-a)^{2}}{2\sigma _ {i}^{2}}}+\sum _{i=1}^{n}{\ln {\frac {1}{\sqrt {2\pi \sigma _{i}^{2}}} }}$ .

Diferențierea funcției de log-probabilitate în raport cu : ${\textstyle a}$

${\frac {\partial {L}}{\partial {a}}}=\sum _{{i=1}}^{n}{{\frac {x_{i}-a}{\sigma _{ i}^{2}}}}$ .

Echivalează și obține o anumită valoare : ${\frac {\partial {L}}{\partial {a}}}$ ${\textstyle 0}$ ${\textstyle a=a^{*}}$

$a^{*}={\frac {\sum \limits _{{i=1}}^{{n}}{{\frac {x_{i}}{\sigma _{i}^{2}} ))}{\sum \limits _{{i=1}}^{{n}}{{\frac {1}{\sigma _{i}^{2}}}}}}$ .

Cramer a formulat următoarea teoremă:

Teoremă: Nu există altă metodă de procesare a rezultatelor unui experiment care să ofere o aproximare mai bună a adevărului decât metoda cu maxima probabilitate.

Erori de măsurare

Să presupunem că am luat o serie de măsurători și am obținut o serie de valori , este firesc să scriem că această distribuție va avea o formă gaussiană : ${\textstyle a^{*}}$

$W(a)={\frac {1}{{\sqrt {2\pi \sigma _{{a^{*))}^{2))))}\exp \left[-{\frac {( a^{*}-a)^{2}}{2\sigma _{{a^{*}}}^{2}}}\right]$ .

Să scriem funcția de probabilitate logaritmică: . $L(a)=\ln W(a)=-{{\frac {(a^{*}-a)^{2}}{2\sigma _{{a^{*}}^{2} ))}+{\ln {{\frac {1}{{\sqrt {2\pi \sigma _{{a^{*}}}^{2}}}}}}}$

Să luăm prima derivată:

${\frac {\partial {L}}{\partial {a}}}={\frac {a^{*}-a}{\sigma _{{a^{*}}}^{2}}}$ .

Dacă , atunci . Acum luați derivata a doua: ${\frac {\partial {L}}{\partial {a}}}=0$ $a=a^{*}$

${\frac {\partial ^{2}{L}}{\partial {a}^{2}}}=-{\frac {1}{\sigma _{a^{*}}^{ 2}}}$ , Unde

$\sigma _{a^{*}}=\left(-{\frac {\partial ^{2}{L}}{\partial {a}^{2}}}{\Big |}_ {a=a^{*}}\dreapta)^{-1/2}$ .

Aceasta se numește prima formulă magică [2] .

Metoda maximă de probabilitate condiționată

Metoda maximă de probabilitate condiționată (ML condiționat) este utilizată în modelele de regresie. Esența metodei este că nu se folosește distribuția comună completă a tuturor variabilelor (dependente și regresoare), ci doar distribuția condiționată a variabilei dependente pe factori, adică, de fapt, distribuția erorilor aleatoare a modelului de regresie. . Funcția de probabilitate totală este produsul dintre „funcția de probabilitate condiționată” și densitatea de distribuție a factorilor. MMP condiționat este echivalent cu versiunea completă a MMP în cazul în care distribuția factorilor nu depinde în niciun fel de parametrii estimați. Această condiție este adesea încălcată în modelele serii de timp, cum ar fi modelul autoregresiv . În acest caz, regresorii sunt valorile trecute ale variabilei dependente, ceea ce înseamnă că și valorile lor respectă același model AR, adică distribuția regresorilor depinde de parametrii estimați. În astfel de cazuri, rezultatele aplicării metodelor de maximă probabilitate condiționată și completă vor diferi.

Vezi și

Note

↑ Fisher - 1912 Mathematical Encyclopedic Dictionary, Moscova: Enciclopedia sovietică, 1988.
↑ 1 2 A.P. Onuchin. Metode experimentale ale fizicii nucleare. - Novosibirsk: Universitatea Tehnică de Stat din Novosibirsk, 2010. - S. 297-303. — 336 p. — ISBN 978-5-7782-1232-9 .

Literatură

Magnus Ya. R., Katyshev P. K., Peresetsky A. A. Econometrie. Curs inițial. - M . : Delo, 2007. - 504 p. - ISBN 978-5-7749-0473-0 .
Ostapenko R. I. Fundamentele modelării structurale în psihologie și pedagogie: un ajutor de predare pentru studenții facultății de psihologie și pedagogie. - Voronezh.: VGPU, 2012. - 116 p. - ISBN 978-5-88519-886-8 .
Nikulin M. S. Criteriul raporturilor de probabilitate // Enciclopedia matematică / Vinogradov I. M. (editor șef). - M .: Enciclopedia Sovietică , 1984. - T. 4. - S. 151. - 1216 p.

Dicționare și enciclopedii	mare chinezesc mare chinezesc mare chinezesc mare chinezesc mare chinezesc Rusă mare