Regresie (matematică)

Regresia ( lat. regresio - mișcare înapoi, retragere) în teoria probabilităților și statistica matematică este o relație stocastică unilaterală care stabilește o corespondență între variabile aleatoare [1] , adică o expresie matematică care reflectă relația dintre variabila dependentă y iar variabilele independente x , cu condiţia ca această expresie să aibă semnificaţie statistică . Spre deosebire de dependența pur funcțională y = f ( x ), când fiecare valoare a variabilei independente x corespunde unei valori specifice a lui y , cu o relație de regresie, aceeași valoare a lui x poate corespunde, în funcție de caz, unor diferite valorile lui y . Dacă pentru fiecare valoare există valori y i 1 … y în i ale valorii y , atunci dependența mediilor aritmetice de și este o regresie în sensul statistic al acestui termen [2] . $x=x_{i}$ $n_{i}$ ${\bar {y}}_{i}=(y_{i1}+...+y_{in_{i}})/n_{i}$ $x=x_{i}$

Istorie

Acest termen a fost folosit pentru prima dată în statistică de Francis Galton (1886) în legătură cu studiul moștenirii caracteristicilor fizice umane. Înălțimea omului a fost luată ca una dintre caracteristici; în timp ce s-a constatat că, în general, fiii taților înalți, deloc surprinzător, erau mai înalți decât fiii taților cu statură mică. Mai interesant a fost că variația înălțimii fiilor era mai mică decât variația înălțimii părinților. Așa s-a manifestat tendința de a readuce creșterea fiilor la medie ( regresie la mediocritate ), adică „regresie”. Acest fapt a fost demonstrat prin calcularea înălțimii medii a fiilor taților care au 56 de centimetri înălțime, prin calcularea înălțimii medii a fiilor taților care au 58 de centimetri înălțime și așa mai departe . , și de-a lungul axei absciselor - valorile a înălțimii medii a taților. Punctele (aproximativ) se află pe o dreaptă cu o pantă pozitivă mai mică de 45°; este important ca regresia să fie liniară .

Descriere

Să presupunem că există un eșantion dintr-o distribuție bivariată a unei perechi de variabile aleatoare ( X, Y ). Linia dreaptă în plan ( x, y ) a fost analogul selectiv al funcției

g(x)=E(Y\mid X=x).

În teoria probabilității, termenul „regresie” este înțeles ca această funcție, care nu este altceva decât o așteptare matematică condiționată a unei variabile aleatoare Y , cu condiția ca o altă variabilă aleatoare X să fi luat valoarea x . Dacă, de exemplu, o pereche ( X, Y ) are o distribuție normală bivariată cu E ( X )=μ 1 , E ( Y )=μ 2 , var( X )=σ 1 2 , var( Y )=σ 2 2 , cor ( X, Y )=ρ, atunci se poate demonstra că distribuția condiționată a lui Y pentru X = x va fi de asemenea normală cu așteptarea egală cu

E(Y\mid X=x)=\mu_2+\varrho\frac{\sigma_2}{\sigma_1}(x-\mu_1),

și dispersie

\mathrm{var}(Y\mid X=x)=\sigma_2^2(1-\varrho^2).

În acest exemplu, regresia lui Y pe X este o funcție liniară . Dacă regresia lui Y pe X nu este liniară, atunci ecuațiile date sunt o aproximare liniară a adevăratei ecuații de regresie.

În general, regresia unei variabile aleatoare la alta nu va fi neapărat liniară. De asemenea, nu este necesar să vă limitați la câteva variabile aleatorii. Problemele de regresie statistică sunt asociate cu determinarea formei generale a ecuației de regresie, construirea de estimări ale parametrilor necunoscuți incluși în ecuația de regresie și testarea ipotezelor statistice despre regresie [3] . Aceste probleme sunt luate în considerare în cadrul analizei de regresie .

Un exemplu simplu de regresie Y pe X este relația dintre Y și X , care este exprimată prin relația: Y = u ( X ) + ε, unde u ( x )= E ( Y | X = x ) și aleatoriu variabilele X și ε sunt independente. Această reprezentare este utilă atunci când este planificat un experiment pentru a studia relația funcțională y = u ( x ) dintre variabilele non-aleatoare y și x . În practică, coeficienții de regresie din ecuația y = u ( x ) sunt de obicei necunoscuți și sunt estimați din date experimentale.

Regresie liniară

Reprezentăm dependența lui y de x sub forma unui model liniar de ordinul întâi:

y=\beta _{0}+\beta _{1}x+\varepsilon .

Vom presupune că valorile x sunt determinate fără eroare, β 0 și β 1 sunt parametri de model, iar ε este o eroare a cărei distribuție respectă legea normală cu medie zero și abatere constantă σ 2 . Valorile parametrilor β nu sunt cunoscute în prealabil și trebuie determinate dintr-un set de valori experimentale ( x i , y i ), i =1, …, n . Astfel putem scrie:

{\widehat {y_{i}}}=b_{0}+b_{1}x_{i},i=1,\dots,n

unde înseamnă valoarea lui y prezisă de model pentru un dat x , b 0 și b 1 sunt estimări ale parametrilor modelului. Să determinăm, de asemenea, — valoarea erorii de aproximare pentru a- a observație. $\widehat{y}$ $e_i=y_i-\widehat{y_i}$ $i$

Pentru a calcula parametrii modelului din datele experimentale, diferite programe sunt adesea folosite pentru prelucrarea datelor statistice. Cu toate acestea, pentru acest caz simplu, nu este dificil să scrieți formule detaliate [4] [5] .

Metoda celor mai mici pătrate oferă următoarele formule pentru calcularea parametrilor acestui model și a abaterilor acestora:

b_{1}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x)))(y_{i}-{\bar {y} })}{\sum _{i=1}^{n}(x_{i}-{\bar {x)))^{2))}={\frac {\mathrm {cov} (x,y )}{\sigma _{x}^{2}}};

b_0=\bar{y}-b_1\bar{x};

s_e^2=\frac{\sum_{i=1}^n (y_i-\widehat{y})^2}{n-2};

s_{b_0}=s_e \sqrt{\frac{1}{n} + \frac{\bar{x}^2}{\sum_{i=1}^n(x_i-\bar x)^2)) ;

s_{b_1}=s_e \sqrt{\frac{1}{\sum_{i=1}^n(x_i-\bar x)^2}},

aici, mediile sunt definite ca de obicei: , iar s e 2 denotă abaterea reziduală a regresiei, care este estimarea varianței σ 2 dacă modelul este corect. $\bar x=\frac{\sum_{i=1}^nx_i}{n}$ $\bar y=\frac{\sum_{i=1}^ny_i}{n}$

Erorile standard ale coeficienților de regresie sunt utilizate în același mod ca și eroarea standard a mediei - pentru a găsi intervale de încredere și a testa ipotezele. Utilizăm, de exemplu, criteriul lui Student pentru a testa ipoteza că coeficientul de regresie este egal cu zero, adică este nesemnificativ pentru model. Statistica elevului: . Dacă probabilitatea pentru valoarea obținută și n − 2 grade de libertate este suficient de mică, de exemplu, <0,05, ipoteza este respinsă. Dimpotrivă, dacă nu există niciun motiv de respingere a ipotezei nule, să zicem, există motive să ne gândim la existența regresiei dorite, cel puțin sub această formă, sau la colectarea de observații suplimentare. Dacă termenul liber este egal cu zero , atunci linia dreaptă trece prin origine și estimarea pantei este egală cu $t=b/s_{b)$ $b_{1}$ $b_{0}$

b=\frac{\sum_{i=1}^n x_iy_i}{\sum_{i=1}^n x_i^2}

și eroarea sa standard

s_{b}=s_e \sqrt{\frac{1}{\sum_{i=1}^n x_i^2}}.

De obicei, valorile adevărate ale coeficienților de regresie β 0 și β 1 nu sunt cunoscute. Sunt cunoscute doar estimările lor b 0 și b 1 . Cu alte cuvinte, adevărata linie dreaptă de regresie poate fi diferită de cea construită pe datele eșantionului. Puteți calcula regiunea de încredere pentru linia de regresie. Pentru orice valoare a lui x , valorile corespunzătoare ale lui y sunt distribuite în mod normal. Media este valoarea ecuației de regresie . Incertitudinea estimării sale este caracterizată de eroarea standard de regresie: $\widehat{y}$

s_{\widehat{y}}=s_e \sqrt{\frac{1}{n} + \frac{(x-\bar{x})^2}{\sum_{i=1}^n(x_i- \bar x)^2}};

Acum puteți calcula intervalul de încredere procentual pentru valoarea ecuației de regresie în punctul x : $100\cdot \left(1-{\frac {\alpha }{2}}\right)$

\widehat{y}-t_{(1-\alpha/2, n-2)}s_{\widehat{y}}<y<\widehat{y}+t_{(1-\alpha/2, n- 2)}s_{\widehat{y}}

unde t (1−α/2, n − 2) este valoarea t - a distribuției lui Student. Figura prezintă o linie de regresie cu 10 puncte (puncte solide), precum și regiunea de încredere de 95% a liniei de regresie, care este delimitată de linii punctate. Cu o probabilitate de 95%, se poate argumenta că adevărata linie este undeva în interiorul acestei zone. Sau altfel, dacă colectăm seturi de date similare (indicate prin cercuri) și construim linii de regresie pe ele (indicate cu albastru), atunci în 95 de cazuri din 100 aceste linii nu vor părăsi regiunea de încredere. (Faceți clic pe imagine pentru a vizualiza) Rețineți că unele puncte sunt în afara regiunii de încredere. Acest lucru este complet natural, deoarece vorbim despre regiunea de încredere a liniei de regresie și nu despre valorile în sine. Împrăștierea valorilor este suma împrăștierii valorilor în jurul liniei de regresie și incertitudinea poziției acestei linii în sine, și anume:

s_Y=s_e \sqrt{\frac{1}{m} + \frac{1}{n} + \frac{(x-\bar{x})^2}{\sum_{i=1}^n( x_i-\bar x)^2}};

Aici m este multiplicitatea măsurătorii y pentru un x dat . Iar intervalul de încredere procentual (interval de predicție) pentru media valorilor m y ar fi: $100\cdot \left(1-{\frac {\alpha }{2}}\right)$

\widehat{y}-t_{(1-\alpha/2, n-2)}s_Y<y<\widehat{y}+t_{(1-\alpha/2, n-2)}s_Y

În figură, această regiune de încredere de 95% la m = 1 este limitată de linii continue. 95% din toate valorile posibile ale lui y din intervalul studiat de valori x se încadrează în această regiune .

Mai multe statistici

Se poate dovedi riguros că dacă așteptarea condiționată a unei variabile aleatoare bidimensionale ( X, Y ) este o funcție liniară a , atunci această așteptare condiționată trebuie reprezentată sub forma , unde E ( X )=μ 1 , E ( Y )=μ 2 , var ( X )=σ 1 2 , var( Y )=σ 2 2 , cor( X, Y )=ρ. $E(Y\mid X=x)$ $X$ $E(Y\mid X=x)=\mu _{2}+\varrho {\frac {\sigma _{2)} {\sigma _{1)}}(x-\mu _{1 })$

Mai mult, pentru modelul liniar menționat anterior , unde și sunt variabile aleatoare independente și are așteptare zero (și o distribuție arbitrară), putem demonstra că . Apoi, folosind egalitatea indicată mai sus, se pot obține formule pentru și : , $Y=\beta _{0}+\beta _{1}X+\varepsilon$ $X$ $\varepsilon$ $\varepsilon$ $E(Y\mid X=x)=\beta _{0}+\beta _{1}x$ $\beta _{0)$ $\beta_{1}$ $\beta _{1}=\varrho {\frac {\sigma _{2}}{\sigma _{1}}}$

$\beta _{0}=\mu _{2}-\beta _{1}\mu _{1)$ .

Dacă de undeva se știe a priori că mulțimea punctelor aleatoare de pe plan este generată de un model liniar, dar cu coeficienți necunoscuți și , se pot obține estimări punctuale ale acestor coeficienți folosind formulele indicate. Pentru a face acest lucru, în loc de așteptări matematice, varianțe și corelații ale variabilelor aleatoare X și Y , trebuie să înlocuiți estimările lor imparțiale în aceste formule. Formulele de estimare obţinute coincid exact cu formulele derivate pe baza metodei celor mai mici pătrate. $\beta _{0)$ $\beta_{1}$

Note

↑ E. Foerster, B. Renz , Metode de corelare și analiză de regresie, 1983 , p. cincisprezece.
↑ Regresia // Marea Enciclopedie Sovietică : [în 30 de volume] / cap. ed. A. M. Prohorov . - Ed. a 3-a. - M . : Enciclopedia Sovietică, 1969-1978.
↑ Manual de Statistică Aplicată. În 2 vol. T. 1: Per. din engleza. / Ed. E. Lloyd, W. Lederman, Yu. N. Tyurin. — M.: Finanţe şi statistică, 1989. — 510 p. — ISBN 5-279-00245-3
↑ Lavagnini I., Magno F., Seraglia R., Traldi P. Quantitative methods in mass spectrometria - M .: Technosfera, 2008. - 176 p. - ISBN 978-5-94836-190-1 ; ISBN 978-0-470-02516-1
↑ Sergienko V.I., Bondareva I.B. Statistica matematică în cercetarea clinică. - Ed. a II-a, revizuită. si suplimentare — M.: GEOTAR-Media, 2006. — 304 p. — ISBN 5-9704-0197-8

Literatură

Forster E., Renz B. Metode de corelație și analiză de regresie. Ghid pentru economiști. - M. : Finanţe şi statistică, 1983. - 304 p. — (Biblioteca de cărți străine pentru economiști și statisticieni).

Link -uri

Francis Galton. „Regresiunea către mediocritate în statura ereditară”, Journal of the Anthropological Institute , 15:246-263 (1886). (Engleză)

Dicționare și enciclopedii	Rusă mare