Informații Fisher

Versiunea actuală a paginii nu a fost încă revizuită de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită pe 28 decembrie 2019; verificările necesită 9 modificări .

Informația Fisher este așteptarea matematică a pătratului ratei relative de modificare a densității de probabilitate condiționată [1] . Această caracteristică este numită după Ronald Fisher , care a descris-o . $p(x|\theta )$

Definiție

Fie densitatea distribuției pentru modelul statistic dat . Atunci dacă funcția este definită $f(\theta,\;x_1,\dots,\,x_n)$

I_{n}(\theta)=\mathbb {E} _{\theta}\left({\frac {\partial L(\theta,\;x_{1},\dots,\,x_{ n})}{\partial \theta }}\right)^{2},\;L=\sum _{i=1}^{n}\ln f(\theta ,x_{i})

unde este funcția log - probabilitate și este așteptarea matematică pentru dat , atunci se numește informația Fisher pentru un model statistic dat cu teste independente . $L(\theta,\;x_1,\dots,\,x_n)$ $\mathbb {E} _{\theta }$ $X$ $\theta$ $n$

Dacă sunt de două ori diferențiabile în raport cu și în anumite condiții de regularitate, informațiile Fisher pot fi rescrise ca [2] $\ln f(x;\theta)$ $\theta$

I_n(\theta) = \mathbb{E}_\theta \left(\frac{\partial L(\theta,\;X)}{\partial \theta}\right)^2 = - \mathbb{E} _\theta \left(\frac{\partial^2 L(\theta,\;X)}{\partial \theta^2}\right)

Pentru modele regulate : (Aceasta este definiția regularității). $\mathbb {E} _{\theta}\left({\frac {\partial L(\theta,\;x_{1},\dots,\,x_{n})}{\partial \theta }}\dreapta)=0$

În acest caz, deoarece așteptarea funcției de contribuție a eșantionului este zero, valoarea scrisă este egală cu varianța acesteia.

Cantitatea de informații Fisher conținută într-o observație se numește:

I_{i}(\theta)=\mathbb {E} _{\theta}\left({\frac {\partial \ln f(\theta,\,x_{i})}{\partial \ theta }}\dreapta)^{2}

Pentru modelele obișnuite, toată lumea este egală. $I_{i}(\theta )$

Dacă eșantionul constă dintr-un element, atunci informațiile Fisher sunt scrise după cum urmează:

I(\theta)=\mathbb {E} _{\theta}\left({\frac {\partial \ln f(\theta,\,x)}{\partial \theta}}\right) ^{2}

Din condiția de regularitate, precum și din faptul că în cazul independenței variabilelor aleatoare , varianța sumei este egală cu suma variațiilor, rezultă că pentru testele independente . $n$ $I_{n}(\theta)=nI(\theta)$

Proprietăți

Din proprietatea varianțelor de mai sus rezultă că, în cazul independenței variabilelor aleatoare (considerate într-un singur model statistic), informațiile Fisher ale sumei lor sunt egale cu suma informațiilor Fisher ale fiecăreia dintre ele. $\xi _{1}(\theta,\,x),\dots,\,\xi _{n}(\theta,\,x)$

Salvarea informațiilor cu suficiente statistici

În general, dacă este statistica eșantionului X , atunci $T = t(X)$

I_T(\theta)\leq I_X(\theta)

Mai mult, egalitatea este atinsă dacă și numai dacă T este o statistică suficientă .

O statistică suficientă conține la fel de multe informații Fisher ca întregul eșantion X . Acest lucru poate fi demonstrat folosind testul de factorizare Neumann pentru statistici suficiente. Dacă statisticile sunt suficiente pentru parametrul , atunci există funcții g și h astfel încât: $T(X)$ $\theta$

f(X;\theta )=g(T(X),\theta )h(X)

Egalitatea informațiilor rezultă din:

\frac{\partial}{\partial\theta} \ln \left[f(X ;\theta)\right] = \frac{\partial}{\partial\theta} \ln \left[g(T(X) );\theta)\dreapta]

care rezultă din definiția Fisher informații și independență față de . $h(X)$ $\theta$

Vezi și

Alte măsuri utilizate în teoria informației :

Note

↑ Leman, 1991 , p. 112.
↑ Lehmann, E.L. ; Casella, G. Teoria estimării punctuale (neopr.) . — Ed. a II-a. - Springer, 1998. - ISBN 0-387-98502-6 . , echivalentul (2.5.16).

Literatură

Leman E. Teoria estimării punctuale. — M .: Nauka, 1991. — 448 p. — ISBN 5-02-013941-6 .