Matricea de covarianță

Matricea de covarianță (sau matricea de covarianță ) în teoria probabilității este o matrice compusă din covarianțe perechi ale elementelor unuia sau doi vectori aleatori .

Matricea de covarianță a unui vector aleatoriu este o matrice definită nenegativă șimetrică pătrată, pe diagonala căreia sunt situate variațiile componentelor vectoriale, iar elementele în afara diagonalei sunt covarianțele dintre componente.

Matricea de covarianță a unui vector aleatoriu este un analog multivariat al varianței unei variabile aleatorii pentru vectori aleatori. Matricea de covarianță a doi vectori aleatori este un analog multidimensional al covarianței dintre două variabile aleatorii.

În cazul unui vector aleatoriu distribuit normal, matricea de covarianță, împreună cu așteptarea matematică a acestui vector, determină complet distribuția acestuia (prin analogie cu faptul că așteptarea matematică și varianța unei variabile aleatoare distribuite normal determină complet distribuția sa)

Definiții

Fie , doi vectori aleatori de dimensiune și , respectiv. Fie, de asemenea, variabilele aleatoare să aibă un al doilea moment finit ( dispersie ), adică . Apoi se numește matricea de covarianță vectorială ${\mathbf {X}}:\Omega \to {\mathbb {R}}^{n}$ ${\mathbf {Y}}:\Omega \to {\mathbb {R}}^{m}$ $n$ $m$ $X_{i},Y_{j},\;i=1,\ldots ,n,\;j=1,\ldots ,m$ $X_{i},Y_{j}\în L^{2}$ ${\mathbf {X}),{\mathbf {Y}}$

\Sigma ={\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbb {E}}\left[({\mathbf {X}}-{\mathbb {E}}{\mathbf {X}})({\mathbf {Y}}-{\mathbb {E}}{\mathbf {Y}})^{{\top }}\dreapta],

acesta este

\Sigma =(\sigma _{{ij}})

Unde

\sigma _{{ij))={\mathrm {cov}}(X_{i},Y_{j})\equiv {\mathbb {E}}\left[(X_{i}-{\mathbb {E }}X_{i})(Y_{j}-{\mathbb {E}}Y_{j})\dreapta],\;i=1,\ldots ,n,\;j=1,\ldots ,m

{\mathbb {E}}

- asteptari matematice .

Dacă , atunci se numește matrice de covarianță vectorială și se notează cu . [1] O astfel de matrice de covarianță este o generalizare a varianței pentru o variabilă aleatoare multivariată , iar urma sa este o expresie scalară pentru varianța unei variabile aleatoare multivariate . În acest sens, se folosește și notația - varianța unui vector aleatoriu. Vectorii proprii și valorile proprii ale acestei matrice fac posibilă estimarea dimensiunii și formei norului de distribuție a unei astfel de variabile aleatoare prin aproximarea acesteia cu un elipsoid (sau o elipsă în cazul bidimensional). ${\mathbf {X}}\equiv {\mathbf {Y}}$ $\Sigma$ $\mathbf {X}$ ${\mathrm {cov}}({\mathbf {X}})$ $V(X)$

Proprietățile matricelor de covarianță

Formula scurtă pentru calcularea matricei de covarianță:

{\mathrm {cov}}({\mathbf {X}})={\mathbb {E}}\left[{\mathbf {X}}{\mathbf {X}}^({\top }}\right ]-{\mathbb {E}}[{\mathbf {X}}]\cdot {\mathbb {E}}\left[{\mathbf {X}}^({\top }}\right]

Matricea de covarianță a unui vector aleatoriu este definită nenegativ [1] :

{\mathrm {cov}}({\mathbf {X}})\geq 0

Schimbare de scară:

{\mathrm {cov}}\left({\mathbf {a}}^{{\top }}{\mathbf {X}}\right)={\mathbf {a}}^{{\top }}{ \mathrm {cov}}({\mathbf {X}}){\mathbf {a}},\;\forall {\mathbf {a}}\in {\mathbb {R}}^{n}

Dacă vectorii aleatori și sunt necorelați ( ), atunci $\mathbf {X}$ $\mathbf {Y}$ ${\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbf {0}}$

{\mathrm {cov}}({\mathbf {X}}+{\mathbf {Y}})={\mathrm {cov}}({\mathbf {X}})+{\mathrm {cov}}( {\mathbf {Y)))

Matricea de covarianță a transformării afine :

{\mathrm {cov}}\left({\mathbf {A}}{\mathbf {X}}+{\mathbf {b}}\right)={\mathbf {A}}{\mathrm {cov}} ({\mathbf {X}}){\mathbf {A}}^{{\top }}

unde este o matrice arbitrară de mărime și . $\mathbf {A}$ $n\ ori n$ ${\mathbf {b}}\în {\mathbb {R}}^{n}$

Rearanjarea argumentelor:

{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathrm {cov}}({\mathbf {Y}},{\mathbf {X}})^ {{\top}}

Matricea de covarianță este aditivă în fiecare argument:

{\mathrm {cov}}({\mathbf {X}}_{1}+{\mathbf {X}}_{2},{\mathbf {Y}})={\mathrm {cov}}({ \mathbf {X}}_{1},{\mathbf {Y}})+{\mathrm {cov}}({\mathbf {X}}_{2},{\mathbf {Y}})

{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}}_{1}+{\mathbf {Y}}_{2})={\mathrm {cov}}({ \mathbf {X)),{\mathbf {Y}}_{1})+{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}}_{2})

Dacă și sunt independente, atunci $\mathbf {X}$ $\mathbf {Y}$

{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbf {0}}

Matricea de covarianță condiționată

Matricea de covarianță a unui vector aleatoriu este o caracteristică a distribuției sale. În cazul unei distribuții normale (multivariate), media unui vector și matricea sa de covarianță determină complet distribuția acestuia. Caracteristicile distribuției condiționate a unui vector aleator dat fiind valoarea unui alt vector aleator sunt așteptarea condiționată ( funcția de regresie ) și, respectiv, matricea de covarianță condiționată.

Fie vectori aleatori și au o distribuție normală comună cu așteptări matematice , matrice de covarianță și matrice de covarianță . Aceasta înseamnă că vectorul aleator combinat urmează o distribuție normală multivariată cu un vector de așteptare și o matrice de covarianță care poate fi reprezentată ca următoarea matrice de bloc $X$ $Y$ $\mu _{X},\mu _{Y}$ $V_{X},V_{Y}$ $C_{{XY}}$ ${\boldsymbol Z}={\begin{bmatrix}{\boldsymbol X}\\{\boldsymbol Y}\end{bmatrix}}$ ${\boldsymbol \mu }_{{Z))={\begin{bmatrix}{\boldsymbol \mu }_{X}\\{\boldsymbol \mu }_{Y}\end{bmatrix)),$

${\boldsymbol V}_{Z}={\begin{bmatrix}{\boldsymbol V}_{X}&{\boldsymbol C}_{{XY}}\\{\boldsymbol C}_{{YX}} &{\boldsymbol V}_{{Y}}\end{bmatrix}}$ Unde $C_{{YX}}=C_{{XY}}^{T}$

Atunci vectorul aleatoriu pentru o valoare dată a vectorului aleator are o distribuție normală (condițională) cu următoarea așteptare condiționată și matrice de covarianță condiționată $Y$ $X$

$E(Y|X=x)=\mu _{Y}+C_{{YX}}V_{X}^{{-1}}(x-\mu _{X}),\qquad V(Y| X=x)=V_{Y}-C_{{YX}}V_{X}^{{-1}}C_{{XY}}$

Prima egalitate definește funcția de regresie liniară (dependența așteptării condiționate a vectorului de valoarea dată x a vectorului aleatoriu ), iar matricea este matricea coeficienților de regresie. $Y$ $X$ $C_{{XY}}V^{{-1}}$

Matricea de covarianță condiționată este matricea de covarianță de eroare aleatorie a regresiilor liniare ale componentelor vector cu vector . $Y$ $X$

În cazul în care este o variabilă aleatoare obișnuită (un vector cu o singură componentă), matricea de covarianță condiționată este varianța condiționată (în esență - eroarea aleatorie a regresiei pe vector ) $Y$ $Y$ $X$

Note

↑ 1 2 A. N. Shiryaev. Capitolul 2, §6. Variabile aleatoare II // Probabilitate. - Ed. a 3-a. - Cambridge, New York, ...: MTSNMO, 2004. - T. 1. - P. 301. - 520 p.