Metoda momentelor

Metoda momentelor este o metodă de estimare a parametrilor necunoscuți ai distribuțiilor în statistica matematică și econometrie , bazată pe proprietățile presupuse ale momentelor ( Pearson , 1894). Ideea metodei este de a înlocui rapoartele adevărate cu analogi selectivi.

Esența metodei

Fie ca o variabilă aleatoare (vector, matrice etc.) X să aibă o anumită distribuție în funcție de parametri . Fie funcțiile (numite momente sau funcții de moment ) , integrabile față de măsură , să îndeplinească condițiile asupra momentelor $\mathbb {P} _{\theta }$ $\theta \in \Theta \subset {\mathbb {R}}^{k}$ $g_{i}:{\mathbb {R}}^{m}\la {\mathbb {R}}$ $\mathbb {P} _{\theta }$

{\mathbb {E}}\left[g_{i}(X,\theta )\right]=0~,~~i=1..k

Să fie un eșantion al unei variabile aleatoare X. Se presupune că relații similare cu condițiile pentru momente sunt îndeplinite și pentru eșantion, și anume, în locul așteptării matematice în condițiile pentru momente, este necesar să se folosească eșantionul mijloace: $X_{1},\ldots ,X_{n}$

\overline {g_{i}(X,\theta )}=0~,~~i=1..k

mai mult, în această reprezentare (când zero este la dreapta egalității), este suficient să folosiți sume simple în loc de medii.

Estimările obținute din soluția acestui sistem de ecuații (condiții selective pentru momente) se numesc estimări ale metodei momentelor . Denumirea metodei se datorează faptului că cel mai adesea funcțiile sunt funcții de tip putere, așteptările matematice de la care în teoria probabilităților și statistica matematică sunt de obicei numite momente. $g_i$

Dacă funcțiile moment sunt continue, atunci estimările metodei momentelor sunt consistente .

Cazuri speciale

Unele metode clasice de estimare a modelelor de regresie pot fi reprezentate ca cazuri speciale ale metodei momentelor. De exemplu, dacă un model de regresie liniară satisface condiția , atunci condițiile de moment arată astfel: $y_{t}=x_{t}^{T}b+\varepsilon _{t}$ $E(x_{t}^{T}\varepsilon _{t})=0$

$X^{T}e=0~\Rightarrow ~X^{T}(y-Xb)=0~\Rightarrow ~X^{T}Xb=X^{T}y$

Prin urmare, în acest caz, estimarea metodei momentelor va coincide cu estimarea metodei celor mai mici pătrate ${\hat {b}}_{{MM}}={\hat {b}}_{{OLS}}=(X^{T}X)^{{-1}}X^{T}y$

Astfel, LSM este un caz special al metodei momentelor, când este îndeplinită condiția de ortogonalitate a regresorilor și a erorilor aleatoare. $E(x_{t}^{T}\varepsilon _{t})=0$

Luați în considerare un alt caz în care există unele variabile z ortogonale la erorile aleatoare ale modelului de regresie liniară, adică . Apoi avem un analog selectiv al acestei condiții: $E(z_{t}^{T}\varepsilon _{t})=0$

$Z^{T}e=0~\Rightarrow Z^{T}(y-Xb)=0~\Rightarrow ~Z^{T}Xb=Z^{T}y$

Prin urmare, estimarea metodei momentelor va coincide cu estimarea metodei variabilelor instrumentale : . ${\hat {b}}_{{MM}}={\hat {b}}_{{IV}}=(Z^{T}X)^{{-1}}Z^{T}y$

Astfel, metoda variabilelor instrumentale este un caz special al metodei momentelor, când este îndeplinită condiția de ortogonalitate a instrumentelor și erori aleatorii ale modelului.

Metoda generalizată a momentelor

Metoda momentelor poate fi generalizată în cazul în care numărul de condiții de moment depășește numărul de parametri care trebuie estimați. În acest caz, problema nu are în mod evident o soluție unică (în cazul general). În acest caz, se rezolvă problema minimizării unui anumit funcțional care caracterizează gradul integral de respectare a condițiilor pentru momente.

Fie un set de condiții pentru momente, al căror număr este mai mare decât numărul de parametri necunoscuți. Metoda generalizată a momentelor (GMM, GMM - Generalized Method of Moments) este o estimare care minimizează forma pătratică definită pozitivă a condițiilor eșantionului pentru momentele: $E(g(x,b))=0$

${\hat {b}}_{GMM}=\arg \min _{b}{\overline {g(x,b)}}^{T}W{\overline {g(x,b) }}$

unde W este o matrice definită pozitivă simetrică.

Matricea de ponderi poate fi teoretic arbitrară (ținând cont de constrângerea de definiție pozitivă), dar s-a dovedit că cele mai eficiente sunt estimările GMM cu o matrice de ponderi egală cu matricea de covarianță inversă a funcțiilor de moment . Acesta este așa-numitul GMM eficient . Cu toate acestea, deoarece această matrice de covarianță nu este cunoscută în practică, se utilizează următoarea procedură. În prima etapă, parametrii modelului sunt estimați utilizând GMM cu o matrice de greutate de identitate. Apoi, în funcție de datele eșantionului și de valorile găsite ale parametrilor, matricea de covarianță a funcțiilor de moment este estimată, iar estimarea rezultată este utilizată în GMM efectiv (acesta este așa-numitul GMM efectiv disponibil). $W=V_{g}^{{-1}}$

Exemplu

Fie o probă din distribuția gamma cu parametri necunoscuți și . Apoi $X_{1},\ldots,X_{n}\sim \Gamma (\alpha,\beta)$ $\alfa$ $\beta$

{\mathbb {E}}[X_{i}]=\alpha \beta ,\;{\mathbb {E}}\left[X_{i}^{2}\right]=\alpha (\alpha +1 )\beta ^{2},\quad i=1,\ldots ,n

Atunci estimările metodei momentelor satisfac sistemul de ecuații:

{\begin{matrix}\overline {X}=&{\hat {\alpha }}_{{{\mathrm {MM}}}}{\hat {\beta }}_{({\mathrm {MM} }}}\\\overline {X^{2}}=&{\hat {\alpha }}_{({\mathrm {MM}}}}({\hat {\alpha }}_{({\ mathrm {MM))))+1)\left({\hat {\beta }}_{({\mathrm {MM}}}}\right)^{2}\end{matrix}}~~\Rightarrow ~~{\hat {\alpha }}_{({\mathrm {MM}}}}={\frac {\left(\overline {X}\right)^{2}}{\overline {X^{ 2}}-\left(\overline {X}\right)^{2}}}~,~~{\hat {\beta }}_{({\mathrm {MM}}}}={\frac { \overline {X^{2}}-\left(\overline {X}\right)^{2}}{\overline {X}}}

Avantajele și dezavantajele metodei

Într-o anumită măsură, la estimarea parametrilor dintr-o familie cunoscută de distribuții de probabilitate, această metodă este eliminată de metoda maximă de probabilitate Fisher , deoarece estimarea probabilității maxime are o probabilitate mare de a fi mai aproape de valoarea reală a valorii estimate.

Cu toate acestea, în unele cazuri, cum ar fi mai sus în cazul distribuției gamma, utilizarea metodei probabilității maxime necesită utilizarea computerelor , în timp ce metoda momentelor poate fi implementată rapid și ușor manual.

Estimările obținute prin metoda momentelor pot fi folosite ca primă aproximare pentru metoda maximei probabilități. O îmbunătățire suplimentară a estimărilor poate fi obținută folosind metoda Newton-Raphson .