Criteriul de informare

Criteriul informației este o măsură a calității relative a modelelor econometrice (statistice) utilizate în econometrie (statistică), ținând cont de gradul de „adaptare” a modelului la date cu o ajustare (penalizare) pentru numărul de parametri estimați utilizați . Adică, criteriile se bazează pe un anumit compromis între acuratețea și complexitatea modelului. Criteriile diferă în ceea ce privește modul în care ating acest echilibru.

Natura informațională a criteriilor este asociată cu conceptul de entropie informațională și distanța Kullback-Leibler , pe baza căruia a fost dezvoltat primul criteriu istoric - criteriul Akaike (AIC) , propus în 1974 de Hirotsugu Akaike [1] .

Criteriile de informare sunt folosite exclusiv pentru compararea modelelor între ele, fără o interpretare semnificativă a valorilor acestor criterii. Ele nu permit testarea modelelor în sensul testării ipotezelor statistice. De obicei, cu cât valorile criteriilor sunt mai mici, cu atât calitatea relativă a modelului este mai mare.

Akaike Information Criteria (AIC)

Propus de Hirotugu Akaike în 1971, descris și studiat de acesta în 1973, 1974, 1983. Inițial, abrevierea AIC, propusă de autor, a fost descifrată ca „ un criteriu de informare ” („un anumit criteriu de informare”), totuși, autorii ulteriori au numit-o Akaike information criterie n. Formula de calcul inițială a criteriului are forma:

AIC=2k-2l

unde este valoarea funcției de probabilitate logaritmică a modelului construit, este numărul de parametri utilizați (estimați). $l$ $k$

Mulți autori moderni, precum și în multe produse software econometrice (de exemplu, în EViews), folosesc o formulă ușor diferită, care implică împărțirea la dimensiunea eșantionului , conform căreia a fost construit modelul: $n$

AIC=2k/n-2l/n

Această abordare face posibilă compararea modelelor estimate din eșantioane de diferite dimensiuni.

Cu cât valoarea criteriului este mai mică, cu atât modelul este mai bun. Multe alte criterii sunt modificări ale AIC.

Criteriul Bayesian Informațional (BIC) sau Criteriul Schwartz (SC)

Criteriul informațional bayesian (BIC) a fost propus de Schwartz în 1978, deci este adesea numit și criteriul Schwarz (SC). A fost dezvoltat pe baza abordării bayesiene și este cea mai frecvent utilizată modificare a AIC:

BIC=SC=k\ln n-2l

După cum se poate observa din formulă, acest criteriu impune o penalizare mai mare la creșterea numărului de parametri față de AIC, deoarece mai mult de 2 deja cu 8 observații $\ln n$

Alte criterii de informare

Criteriul Consistent AIC (CAIC) propus în 1987 de Bozdogan:

CAIC=(1+\ln n)k-2l

Acest criteriu este echivalent asimptotic cu . Același autor în 1994 a propus modificări care măresc coeficientul cu numărul de parametri (în loc de 2 - 3 sau 4 pentru și ). $BIC$ $AIC_{3)$ $AIC_{4)$

Testul Akaike corectat (Corrected AIC- ), care este recomandat pentru utilizare pe eșantioane mici (propus în 1978 de Sugiura): $AIC_{c}$

AIC_{c}=AIC+{\frac {2k(k+1)}{nk-1)}

Testul Hannan-Quinn (HQ) a fost propus de autori în 1979

HQ=2k\ln \ln n/n-2l/n

Acest criteriu, împreună cu AIC și BIC, este emis în evaluarea modelelor cu variabile dependente discrete și limitate în EViews.

Există, de asemenea, modificări AIC care utilizează funcții de penalizare mai complexe care depind de informațiile Fisher și de alte caracteristici.

Criterii de informare în cazuri speciale

Într-un caz special de regresie liniară normală clasică, funcția log-probabilitate este egală cu

l=-n/2(1+\ln 2\pi +\ln {\hat {\sigma }}^{2})

unde este o estimare consistentă (metoda probabilității maxime) a varianței erorii aleatoare a modelului, egală cu raportul dintre suma pătratelor reziduurilor și dimensiunea eșantionului. ${\hat {\sigma }}^{2}$

Înlocuind valoarea funcției de log-probabilitate în formula AIC (împărțită la dimensiunea eșantionului), precum și fără a ține cont de termenii constanți 1 și (deoarece nu afectează rezultatul la compararea modelelor), obținem următoarele formulă: $\ln 2\pi$

AIC=2k/n+\ln {\hat {\sigma }}^{2}

Proprietăți

Aplicarea unor criterii diferite poate duce la selectarea diferitelor modele. În multe lucrări, aceste criterii sunt comparate, dar nu există o concluzie finală cu privire la preferința unuia sau altuia. Prin urmare, produsele software oferă de obicei cel puțin două criterii (AIC, BIC), pentru unele modele și un al treilea (HQ). Este cunoscut faptul că pentru modelele autoregresive criteriul AIC supraestimează ordinea modelului, adică estimarea ordinii modelului pe baza acestui criteriu este insuportabilă. Un criteriu consistent pentru alegerea ordinii unui model autoregresiv este BIC.

Link -uri

↑ Akaike, Hirotugu . O nouă privire asupra identificării modelului statistic (neopr.) // IEEE Transactions on Automatic Control. - 1974. - T. 19 , nr 6 . - S. 716-723 . - doi : 10.1109/TAC.1974.1100705 .

Literatură

Grasa, Antonio Aznar (1989) Econometric Model Selection: A New Approach, Kluwer.
Greene, William H. (1997) Econometric Analysis, ediția a 3-a, Prentice-Hall.