Teorema Karhunen-Loeve

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită pe 19 octombrie 2020; verificarea necesită 1 editare .

O problemă fundamentală importantă a teoriei discretizării este problema volumului unei descrieri discrete a semnalelor, adică numărul de funcții de bază utilizate pentru a reprezenta: $N$

a(t)=\sum _{{k=0}}^{{N-1}}\alpha _{{k}}\varphi _{{k}}(t)

Pentru a găsi baza optimă, trebuie să determinați clasa de semnale pentru care este căutată și, de asemenea, să setați precizia de recuperare pentru această clasă. În abordarea statistică a descrierii semnalelor, baza dimensională optimă pentru reprezentarea realizărilor de semnal individuale este de obicei considerată a fi baza la care rata de eroare, mediată pe ansamblul realizărilor, este minimă. În acest caz, condițiile necesare și suficiente pentru minimul normei de eroare de reprezentare a semnalului ca sumă de funcții de bază sunt determinate de teorema Karhunen-Loev. $N$

Formulare populară

Valoarea minimă a normei de eroare în reprezentarea semnalelor pe un interval de lungime este atinsă atunci când se utilizează funcțiile proprii ale operatorului ca bază, al căror nucleu este funcția de corelare a semnalelor : $T$ $R_{{a}}(t,\tau )$

\int _{{-{\frac {T}{2}}}}^{{{\frac {T}{2}}}}R_{{a}}(t,\tau )\varphi _{{ k}}(\tau )d\tau =\lambda _{{k}}\varphi _{{k}}(t)

corespunzătoare celor mai mari valori proprii. În acest caz, rata de eroare este: $N$

\|\epsilon \|_{{min}}^{{2}}=\|a(t)-\sum _{{k=0}}^{{N-1}}\alpha _{{k }}\varphi _{{k}}(t)\|_{{min}}^{{2}}=\sum _{{k=N}}^{{\infty }}\lambda _{{ k))

O astfel de descompunere este descompunerea Karhunen-Loeve [1] [2] .

Aplicație

În teoria proceselor aleatoare, teorema Karhunen-Loeve (numită după Kari Karhunen și Michel Loeve ) este o reprezentare a unui proces aleatoriu ca o combinație liniară infinită de funcții ortogonale , similară cu reprezentarea seriei Fourier - o reprezentare secvențială a funcțiilor pe un interval mărginit. Spre deosebire de seria Fourier, unde coeficienții sunt numere reale și baza de reprezentare constă din funcții sinusoidale (adică funcții sinus și cosinus cu frecvențe diferite), coeficienții din teorema Karhunen-Loeve sunt variabile aleatoare, iar baza de reprezentare depinde de proces. Funcțiile de bază ortogonale utilizate în această reprezentare definesc funcția de covarianță a procesului . Dacă considerăm un proces stocastic ca o funcție aleatoare F , adică un proces în care funcția de pe intervalul [ a , b ] ia valoarea F , atunci această teoremă poate fi privită ca o expansiune ortonormală aleatorie a lui F.

Un proces aleator centrat { X t } t ∈ [ a , b ] (unde centrarea înseamnă că așteptările matematice E( X t ) există și sunt egale cu zero pentru toate valorile parametrului t din [ a , b ]) , care satisface condiția tehnică de continuitate, admite descompunerea următoarei forme:

{\mathbf {X}}_{t}=\sum _{{k=1}}^{\infty }{\mathbf {Z}}_{k}e_{k}(t).

unde Z k sunt variabile aleatoare necorelate reciproc și funcțiile e k sunt funcții reale continue pe [ a , b ] ortogonale în L ² [ a , b ]. În cazul unui proces necentrat, există o expansiune similară obținută prin extinderea funcției de așteptare în baza e k .

Dacă procesul este gaussian , atunci variabilele aleatoare Z k sunt de asemenea gaussiene și sunt independente . Acest rezultat generalizează transformările Karhunen-Loeve . Un exemplu important de proces stocastic centrat pe intervalul [0,1] este procesul Wiener , iar teorema Karhunen-Loeve poate fi folosită pentru a obține o reprezentare canonică ortogonală. În acest caz, expansiunea constă din funcții sinusoidale. ${\mathbf {X}}_{t}$

Descompunerile de mai sus sunt cunoscute și sub denumirea de descompunere sau descompunere Karhunen-Loeve (versiunea empirică, adică cu coeficienți din datele numerice originale), ca analiză a componentelor principale , descompunere ortogonală adecvată sau transformată Hotelling .

Formulare

Să formulăm rezultatul în termeni de procese stocastice cu valori complexe. Rezultatele pot fi aplicate proceselor cu valoare reală fără modificări, amintindu-ne că conjugatul complex al unui număr real este același cu el însuși.

Pentru elementele aleatoare X și Y , produsul scalar este definit prin formulă

\langle {\mathbf {X}}|{\mathbf {Y}}\rangle =\operatorname {E}({\mathbf {X^{*}}}{\mathbf {Y}})

unde * denotă operația complexă de conjugare .

Statistici de ordinul doi

Produsul scalar este bine definit dacă ambele și au momente secunde finite sau, în mod echivalent, dacă ambele sunt integrabile în pătrat . Rețineți că produsul punctual este legat de covarianță și corelație . În special, pentru variabile aleatoare cu o medie de zero, covarianța și produsul punctual sunt aceleași. Funcția de autocovarianță $X$ $Y$ $K_{{\mathrm {XX}}}$

K_{{\mathrm {XX}}}(t,s)=\operatorname {Cov}[X(t),X(s)]=\langle {\mathbf {X}}_{t}|{\mathbf {X}}_{s}\rangle

{\displaystyle =\mathrm {E} \{[X(t)-\mu _{X}(t)]^{*}[X(s)-\mu _{X}(s)]\))

=\mathrm {E} \{X^{*}(t)X(s)\}-\mu _{X}^{*}(t)\mu _{X}(s)

=R_{\mathrm {XX} }(t,s)-\mu _{X}^{*}(t)\mu _{X}(s).

Dacă procesul { X t } t este centrat, atunci

\mu _{X}(t)=0

pentru toate t . Astfel, autocovarianța lui K XX este egală cu autocorelația lui R XX :

K_{\mathrm {XX} }(t,s)=R_{\mathrm {XX} }(t,s).

Rețineți că dacă { X t } t este centrat și t 1 , ≤ t 2 , …, ≤ t N sunt puncte din intervalul [ a , b ], prin urmare

\sum _{{k,\ell }}\operatorname {Cov}_{({\mathbf {X}}}}(t_{k},t_{\ell })=\operatorname {Var}\left(\ suma _{{k=1}}^{N}{\mathbf {X}}_{k}\right)\geq 0.

Enunțul teoremei

Teorema . Considerăm un proces stocastic centrat indexat pe un interval cu o funcție de covarianță . Să presupunem că funcția de covarianță este continuă în setul de variabile . Atunci este un nucleu definit pozitiv și, după teorema lui Mercer, operatorul integral în (aproape de măsura Lebesgue pe ) are o bază ortonormală de vectori proprii. Fie vectori proprii corespunzători valorilor proprii diferite de zero și $\{{\mathbf {X}}_{t}\}$ $t$ $[a,b]$ ${\mathrm {Cov}}_{{{\mathbf {X}}}}$ ${\mathrm {Cov}}_{{{\mathbf {X}}}}(t,s)$ $t,s$ ${\mathrm {Cov}}_{{{\mathbf {X}}}}$ $T$ $L^{2}[a,b]$ $[a,b]$ $\{e_{i}\}$ $T$

{\mathbf {Z}}_{i}=\int _{a}^{b}{\mathbf {X}}_{t}e_{i}(t)dt.

Apoi sunt centrate variabile aleatoare ortogonale și $Z_{i}$

{\mathbf {X}}_{t}=\sum _{{i=1}}^{\infty }e_{i}(t){\mathbf {Z}}_{i}

seria converge în pătratul mediu și de asemenea uniform în . in afara de asta $t$

\operatorname {Var}({\mathbf {Z}}_{i})=\operatorname {E}({\mathbf {Z}}_{i}^{2})=\lambda _{i}.

unde este valoarea proprie corespunzătoare vectorului propriu . $\lambda _{i}$ $e_{i}$

Sume Cauchy

În formularea teoremei, integrala din definiție poate fi înțeleasă ca limita în medie a sumelor Cauchy ale variabilelor aleatoare $Z_{i}$

\sum _{{k=0}}^{{\ell -1}}{\mathbf {X}}_({\xi _{k}}}e_{i}(\xi _{k})( t_{{k+1}}-t_{k}),

Unde

a=t_{0}\leq \xi _{0}\leq t_{1}\leq \cdots \leq \xi _{{\ell -1}}\leq t_{n}=b

Caz special: distribuția gaussiană

Deoarece limita pătratică medie a variabilelor aleatoare Gaussiene este Gauss, iar variabilele aleatoare Gaussiene (centrate) sunt independente dacă și numai dacă sunt ortogonale, putem de asemenea concluziona:

Teorema . Variabilele aleatoare au o distribuție gaussiană și sunt independente dacă procesul inițial { X t } t este de asemenea gaussian. $Z_{i}$

În cazul gaussian, deoarece variabilele aleatoare sunt independente, putem fi siguri că: $Z_{i}$

\lim _{{N\rightarrow \infty }}\sum _{{i=1}}^{N}e_{i}(t){\mathbf {Z}}_{i}(\omega )={ \mathbf {X}}_{t}(\omega )

aproape sigur.

Rețineți că, generalizând teorema lui Mercer, putem înlocui intervalul cu alte spații compacte , iar măsura Lebesgue on cu o măsură Borel susținută în . $[a,b]$ $C$ $[a,b]$ $C$

Procesul Wiener

Procesul Wiener în teoria proceselor aleatoare este un model matematic al mișcării browniene sau al mersului aleator cu timp continuu. Aici îl definim ca un proces gaussian centrat B ( t ) cu funcție de covarianță

{\mathrm {K}}_{{\mathrm {BB}}}(t,s)=\operatorname {Cov}(B(t),B(s))=\min(s,t).

Este ușor de observat că vectorii proprii de covarianță sunt

e_{k}(t)={\sqrt {2}}\sin \left(k-{\frac {1}{2}}\right)\pi t

și valorile proprii corespunzătoare

\lambda _{k}={\frac {4}{(2k-1)^{2}\pi ^{2}}}.

Acest lucru ne permite să obținem următoarea reprezentare a procesului Wiener:

Teorema . Există o succesiune { W i } i de variabile aleatoare gaussiene independente cu medie zero și varianță unitară astfel încât

{\mathbf {B}}_{t}={\sqrt {2}}\sum _{{k=1}}^{\infty }{\mathbf {W}}_{k}{\frac {\ sin \left(k-{\frac {1}{2}}\right)\pi t}{\left(k-{\frac {1}{2}}\right)\pi }}.

Convergența este uniformă în t în norma L² astfel încât

\operatorname {E}\left({\mathbf {B}}_{t}-{\sqrt {2}}\sum _{{k=1}}^{n}{\mathbf {W}}_{ k}{\frac {\sin \left(k-{\frac {1}{2}}\right)\pi t}{\left(k-{\frac {1}{2}}\right)\ pi }}\right)^{2}\rightarrow 0

uniform în t .

Utilizare

S-a sugerat că proiectul SETI ar trebui să utilizeze transformările Karhunen-Loeve pentru a detecta semnale cu un spectru foarte larg. În mod similar, sistemele de optică adaptivă folosesc uneori funcțiile Karhunen-Loeve pentru a recupera informații despre faza frontului de undă. (Dai 1996, JOSA A).

Vezi și

Link -uri

I. I. Gikhman, A. V. Skorokhod, Introducere în teoria proceselor aleatorii (link inaccesibil) .- M .: Nauka, 1965.
B. Simon, Functional Integration and Quantum Physics , Academic Press, 1979
K. Karhunen, Kari, Uber lineare Methoden in der Wahrscheinlichkeitsrechnung , Ann. Acad. sci. fennicae. Ser. AI Math.-Fiz., 1947, nr. 37, 1-79
M. Loev, Teoria probabilității , - M.: IL, 1962.
G. Dai, Reconstrucție modală a frontului de undă cu polinoame Zernike și funcții Karhunen-Loeve , JOSA A, 13, 6, 1996

Note

↑ Introduction to Digital Image Processing, 1979 , p. 68.
↑ Teoria semnalului, 1974 , p. 115.

Literatură

Yaroslavsky L.P. Introducere în procesarea digitală a imaginilor. - M . : Radio sovietică, 1979. - 312 p.
Franks L. Teoria Semnalelor. - M . : Radio sovietică, 1974. - 399 p.