Cele mai mici pătrate generalizate

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită la 24 octombrie 2015; verificările necesită 4 modificări .

Generalized Least Squares ( GLS , GLS ) este o metodă de estimare a parametrilor modelelor de regresie , care este o generalizare a metodei clasice ale celor mai mici pătrate . Metoda celor mai mici pătrate generalizate se reduce la minimizarea „suma generalizată a pătratelor” a reziduurilor de regresie - , unde este vectorul reziduurilor, este o matrice de greutate definită pozitivă simetrică . Metoda uzuală a celor mai mici pătrate este un caz special al celei generalizate, când matricea de ponderi este proporțională cu cea de identitate. $e^{T}Noi$ $e$ $W$

Trebuie remarcat faptul că un caz special se numește de obicei metoda celor mai mici pătrate generalizate, când matricea care este inversa matricei de covarianță a erorilor aleatoare ale modelului este utilizată ca matrice de ponderi.

Esența celor mai mici pătrate generalizate

Se știe că o matrice definită pozitivă simetrică poate fi descompusă ca , unde P este o matrice pătrată nedegenerată. Apoi, suma generalizată a pătratelor poate fi reprezentată ca suma pătratelor reziduurilor transformate (folosind P) . Pentru regresia liniară , aceasta înseamnă că valoarea este minimizată: $W=P^{T}P$ $(Pe)^{T}Pe$ $y=Xb+\varepsilon$

$[P(y-Xb)]^{T}[P(y-Xb)]=(Py-PXb)^{T}(Py-PXb)=(y^{*}-X^{*}b) ^{T}(y^{*}-X^{*}b)~,$

unde , adică de fapt, esența celor mai mici pătrate generalizate este redusă la o transformare liniară a datelor și aplicarea celor mai mici pătrate obișnuite la aceste date . Dacă matricea de covarianță inversă a erorilor aleatoare (adică ) este utilizată ca matrice de ponderi , transformarea P face ca modelul transformat să satisfacă ipotezele clasice (Gauss-Markov), prin urmare, estimările parametrilor folosind cele mai mici pătrate obișnuite vor fi cele mai eficient în clasa estimatorilor liniari imparțiali. Și din moment ce parametrii modelului original și transformat sunt aceiași, aceasta implică afirmația că estimările GLSM sunt cele mai eficiente din clasa estimărilor liniare nepărtinitoare (teorema lui Aitken). Formula generalizată a celor mai mici pătrate are forma: $y^{*}=Py~,~X^{*}=PX$ $W$ $V$ $\varepsilon$ $W=V^{{-1}}$

${\hat {b}}_{{GLS}}=(X^{T}V^{{-1}}X)^{{-1}}X^{T}V^{{-1}} y$

Matricea de covarianță a acestor estimări este:

$V({\hat {b}}_{{GLS}})=(X^{T}V^{{-1}}X)^{{-1}}$

GLS accesibil (FGLS, GLS fezabil)

Problema utilizării celor mai mici pătrate generalizate este că matricea de covarianță a erorilor aleatoare este necunoscută. Prin urmare, în practică, se utilizează o variantă accesibilă a GLS, atunci când se utilizează o anumită estimare a acesteia în loc de V. Cu toate acestea, în acest caz, apare și o problemă: numărul de elemente independente ale matricei de covarianță este , unde este numărul de observații (de exemplu, cu 100 de observații, trebuie estimați 5050 de parametri!). Prin urmare, această opțiune nu va permite obținerea de estimări calitative ale parametrilor. În practică, se fac ipoteze suplimentare despre structura matricei de covarianță, adică se presupune că elementele matricei de covarianță depind de un număr mic de parametri necunoscuți . Numărul lor ar trebui să fie mult mai mic decât numărul de observații. În primul rând, se aplică metoda obișnuită a celor mai mici pătrate, se obțin reziduurile, apoi se estimează parametrii indicați pe baza acestora . Folosind estimările obținute, se estimează matricea de covarianță a erorilor și se aplică cele mai mici pătrate generalizate cu această matrice. Aceasta este esența unui GMS accesibil. Se dovedește că, în anumite condiții destul de generale, dacă estimările sunt consistente, atunci și estimările CLSM-ului accesibil vor fi și ele consistente. $n(n+1)/2$ $n$ $\theta$ $\theta$ $\theta$

MCO ponderate

Dacă matricea de covarianță a erorii este diagonală (există heteroscedasticitate de eroare, dar nu există autocorelație), atunci suma generalizată a pătratelor este de fapt o sumă ponderată a pătratelor, unde ponderile sunt invers proporționale cu variațiile erorii. În acest caz, se vorbește despre cele mai mici pătrate ponderate (WLS, Weighted LS). Transformarea P în acest caz constă în împărțirea datelor la abaterea standard a erorilor aleatoare. Metoda uzuală a celor mai mici pătrate este aplicată datelor ponderate în acest fel.

Ca și în cazul general, variațiile erorilor sunt necunoscute și trebuie estimate din aceleași date. Prin urmare, sunt făcute câteva ipoteze simplificatoare despre structura heteroscedasticității.

Varianta erorii este proporțională cu pătratul unei variabile

În acest caz, elementele diagonale reale sunt mărimi proporționale cu această variabilă (să o notăm Z ) . În plus, coeficientul de proporționalitate nu este necesar pentru evaluare. Prin urmare, de fapt, procedura în acest caz este următoarea: împărțiți toate variabilele la Z (inclusiv constanta, adică va apărea o nouă variabilă 1/Z ). Mai mult, Z poate fi una dintre variabilele modelului original în sine (în acest caz, modelul transformat va avea o constantă). Metoda normală a celor mai mici pătrate este aplicată datelor transformate pentru a obține estimări ale parametrilor:

Grupuri omogene de observații

Fie n observații împărțite în m grupuri omogene, în cadrul cărora se presupune aceeași varianță. În acest caz, modelul este mai întâi evaluat prin cele mai mici pătrate convenționale și se găsesc reziduurile. Pentru reziduurile din fiecare grup, variațiile de eroare ale grupului sunt estimate ca raport dintre sumele pătratelor reziduurilor și numărul de observații din grup. Mai mult, datele fiecărui j-a grup de observații sunt împărțite la și LSM-ul obișnuit este aplicat datelor transformate în acest mod pentru a estima parametrii. $\sigma _{j}^{2}~,~j=1..m$ $\sigma _{j}$

GLM în cazul autocorelației

Dacă erorile aleatoare se supun modelului AR(1) , atunci fără a lua în considerare prima observație, transformarea P va fi următoarea: valorile anterioare înmulțite cu : se scad din valoarea curentă a variabilelor : $\varepsilon _{t}=r\varepsilon _{{t-1}}+u_{t}$ $r$

${\begin{cases}y_{t}^{*}=y_{t}-ry_{{t-1}}\\x_{t}^{*}=x_{t}-rx_{{t-1 }}\\b_{i}^{*}=b_{i},i>0\\b_{0}^{*}=b_{0}(1-r)\end{cases}}$

Această transformare se numește transformare autoregresivă . Pentru prima observație se aplică corecția Price-Winsten - datele primei observații sunt înmulțite cu . Eroarea aleatorie a modelului transformat este , care se presupune a fi zgomot alb. Prin urmare, utilizarea celor mai mici pătrate convenționale ne va permite să obținem estimări calitative ale unui astfel de model. ${\sqrt {1-r^{2}}}$ $tu_{t}$

Deoarece coeficientul de autoregresie este necunoscut, se aplică diferite proceduri ale GLS disponibile.

Procedura Cochrane-Orcutt

Pasul 1. Evaluați modelul original folosind metoda celor mai mici pătrate și obțineți reziduurile modelului.

Pasul 2. Estimarea coeficientului de autocorelare al reziduurilor modelului (formal, se poate obține și ca estimare MCO a parametrului de autoregresie în regresia auxiliară a reziduurilor ) $e_{t}=re_{{t-1}}+u_{t}$

Pasul 3. Transformarea autoregresivă a datelor (folosind coeficientul de autocorelare estimat la a doua etapă) și estimarea parametrilor modelului transformat prin cele mai mici pătrate convenționale.

Estimările parametrilor modelului transformat și sunt estimările parametrilor modelului original, cu excepția constantei, care se restabilește prin împărțirea constantei modelului transformat la 1-r . Procedura poate fi repetată din a doua etapă până când se obține precizia necesară.

Procedura Hildreth-Lou

În această procedură se face o căutare directă a valorii coeficientului de autocorelare care minimizează suma pătratelor reziduurilor modelului transformat. Și anume, valorile lui r sunt stabilite din intervalul posibil (-1; 1) cu un pas. Pentru fiecare dintre ele se efectuează o transformare autoregresivă, modelul este evaluat prin cele mai mici pătrate uzuale și se găsește suma pătratelor reziduurilor. Se alege coeficientul de autocorelație pentru care această sumă de pătrate este minimă. Mai mult, în vecinătatea punctului găsit, se construiește o grilă cu un pas mai fin și procedura se repetă din nou.

Procedura lui Durbin

Modelul transformat arată astfel:

$y_{t}-ry_{{t-1}}=b_{0}(1-r)+\sum _{{i=1}}^{k}b_{j}(x_{{tj}}- rx_{{t-1j}})+\varepsilon _{t}-r\varepsilon _{{t-1}}$

Expandând parantezele și mutând variabila dependentă de decalaj la dreapta, obținem

$y_{t}=b_{0}(1-r)+ry_{{t-1}}+\sum _{{j=1}}^{k}b_{j}x_{{tj}}-\ suma _{{j=1}}^{k}b_{j}rx_{{t-1j}}+\varepsilon _{t}-r\varepsilon _{{t-1}}$

Să introducem notația . Apoi avem următorul model $b_{0}(1-r)=a_{0},~-rb_{j}=a_{j},~u_{t}=\varepsilon _{t}-r\varepsilon _{{t-1} }$

$y_{t}=a_{0}+ry_{{t-1}}+\sum _{{j=1}}^{k}b_{j}x_{{tj}}+\sum _{{j =1}}^{k}a_{j}x_{{t-1j}}+u_{t}$

Acest model trebuie estimat folosind metoda obișnuită a celor mai mici pătrate. Apoi coeficienții modelului original sunt restaurați ca . ${\hat {b}}_{0}={\hat {a}}_{0}/(1-{\hat {r}}),~{\hat {b}}_{j}=- {\hat {a}}_{j}/{\hat {r}}$

În acest caz, estimarea obținută a coeficientului de autocorelare poate fi utilizată pentru transformarea autoregresivă și aplicarea celor mai mici pătrate pentru acest model transformat pentru a obține estimări mai precise ale parametrilor.

Vezi și

Metoda celor mai mici pătrate

Literatură

Magnus Ya. R., Katyshev P. K., Peresetsky A. A. Econometrie. Curs inițial . — 2004.

Cele mai mici pătrate și analiza de regresie

Statistica de calcul

Metoda celor mai mici pătrate
MNC liniar
Cele mai mici pătrate neliniare
LSM cu recalcularea iterativă a greutăților

Corelație
și dependență

Coeficientul de corelație Pearson
Corelația rangului ( Spearman
Kendall )
Corelație parțială
Factorul de distorsionare

Analiza regresiei

MNC obișnuit
Metoda celor mai mici pătrate parțiale
Cele mai mici pătrate pline
Regresia crestei

Regresia ca model
statistic

Regresie liniara	Regresia liniară simplă MNC obișnuit Cele mai mici pătrate generalizate Cele mai mici pătrate ponderate Model liniar de bază
cadru predictiv	Regresia polinomială curba de crestere Regresia segmentată Regresia locală
Regresie personalizată	neliniară Neparametric semiparametrică durabil cuantilă izotonic
Erori non-standard	Model liniar generalizat Regresie binomială Regresia Poisson Regresie logistică

Descompunerea varianței

Analiza variatiei
Analiza covarianței
Analiza multivariată a varianței

Studiu model

C p Nalbi
Regresie în trepte
Alegerea unui model statistic
Validarea modelului de regresie

Cerințe preliminare

Răspuns mediu și așteptat
Teorema Gauss-Markov
Erori și abateri
Test statistic
Echilibrul studentizat
Eroare pătratică medie minimă

Planificarea
experimentului

Metodologia suprafeței de răspuns
Design optim al experimentului
Proiectare Bayesian Experiment

Aproximație numerică

Aplicații

Aproximare folosind curbe
Curba de calibrare
Filtrul Savitsky-Golay
Identificarea sistemului
Metoda deplasării celor mai mici pătrate