Relația Rayleigh

În matematică , pentru o matrice Hermitiană complexă dată și un vector diferit de zero , relația Rayleigh [1] este definită după cum urmează [2] [3] : $M$ $X$ $R(M,x)$

R(M,x)={x^{{*}}Mx \over x^{{*}}x}.

Pentru matricele reale, condiția ca o matrice să fie hermitiană este redusă la simetria ei , iar conjugarea hermitiană a vectorilor se transformă într-o transpunere obișnuită . Rețineți că pentru orice constantă reală . Reamintim că o matrice hermitiană (precum și o matrice reală simetrică) are valori proprii reale . Se poate demonstra că pentru o matrice, raportul Rayleigh atinge valoarea sa minimă (cea mai mică valoare proprie a matricei ) atunci când este egal cu (vectorul propriu corespunzător). În mod similar, se poate arăta că și . Relația Rayleigh este utilizată în teorema minimax Courant-Fisher pentru a obține toate valorile valorilor proprii [4] . Este, de asemenea, utilizat în algoritmi pentru găsirea valorilor proprii ale matricei pentru a obține o aproximare a valorii proprii dintr-o aproximare cu vectori proprii. Și anume, relația stă la baza iterațiilor cu relația Rayleigh [5] [6] . $x^{{*}}$ $X'$ $R(M,cx)=R(M,x)$ $c\neq 0$ $\lambda _{\min }$ $M$ $X$ $v_{\min }$ $R(M,x)\leq \lambda _{\max }$ $R(M,v_{\max })=\lambda _{\max }$

Setul de valori ale relației Rayleigh se numește imaginea numerică a matricei [7] [8] .

Un caz special de matrice de covarianță

Matricea de covarianță M pentru un eșantion statistic multivariat A (matricea observațiilor) poate fi reprezentată ca produs A' A [9] [10] . Fiind o matrice reală simetrică, M are valori proprii nenegative și vectori proprii ortogonali (sau reductibili la ortogonali).

În primul rând, că valorile proprii nu sunt negative: $\lambda _{i}$

Mv_{i}=A'Av_{i}=\lambda _{i}v_{i}

\Rightarrow v_{i}'A'Av_{i}=v_{i}'\lambda _{i}v_{i}

\Rightarrow \left\|Av_{i}\right\|^{2}=\lambda _{i}\left\|v_{i}\right\|^{2}

\Rightarrow \lambda _{i}={\frac {\left\|Av_{i}\right\|^{2}}{\left\|v_{i}\right\|^{2}}}\ geq 0.

Și, în al doilea rând, că vectorii proprii sunt ortogonali unul față de celălalt: $v_{i}$

Mv_{i}=\lambda _{i}v_{i}

\Rightarrow v_{j}'Mv_{i}=\lambda _{i}v_{j}'v_{i}

\Rightarrow (Mv_{j})'v_{i}=\lambda _{i}v_{j}'v_{i}

\Rightarrow \lambda _{j}v_{j}'v_{i}=\lambda _{i}v_{j}'v_{i}

\Rightarrow (\lambda _{j}-\lambda _{i})v_{j}'v_{i}=0

\Rightarrow v_{j}'v_{i}=0

(dacă valorile proprii sunt diferite - în cazul acelorași valori, puteți găsi o bază ortogonală).

Să arătăm acum că raportul Rayleigh capătă o valoare maximă pe vectorul corespunzător celei mai mari valori proprii. Să extindem un vector arbitrar în ceea ce privește baza vectorilor proprii v i : $X$

x=\sum _{{i=1}}^{n}\alpha _{i}v_{i}

, unde este proiecția lui x pe

\alpha _{i}={\frac {x'v_{i}}{v_{i}'v_{i}}}={\frac {\langle x,v_{i}\rangle }{\left\ |v_{i}\dreapta\|^{2}}}

v_{i}

Astfel, egalitatea

R(M,x)={\frac {x'A'Ax}{x'x}}

poate fi rescris sub următoarea formă:

R(M,x)={\frac {(\sum _{{j=1}}^{n}\alpha _{j}v_{j})'A'A(\sum _{{i=1 }}^{n}\alpha _{i}v_{i})}{(\sum _{{j=1}}^{n}\alpha _{j}v_{j})'(\sum _ {{i=1}}^{n}\alpha _{i}v_{i})}}

Deoarece vectorii proprii sunt ortogonali, ultima egalitate devine

R(M,x)={\frac {\sum _{{i=1}}^{n}\alpha _{i}^{2}\lambda _{i}}{\sum _{{i= 1}}^{n}\alpha _{i}^{2}}}=\sum _{{i=1}}^{n}\lambda _{i}{\frac {(x'v_{i })^{2}}{(x'x)(v_{i}'v_{i})}}

Ultima egalitate arată că raportul Rayleigh este suma cosinusurilor pătrate ale unghiurilor dintre vector și fiecare dintre vectorii proprii , înmulțită cu valoarea proprie corespunzătoare. $X$ $v_{i}$

Dacă un vector maximizează , atunci toți vectorii obținuți din înmulțirea cu un scalar ( pentru ) maximizează și R . Astfel, problema poate fi redusă la găsirea maximului în condiția . $X$ $R(M,x)$ $X$ $kx$ $k\neq 0$ $\sum _{{i=1}}^{n}\alpha _{i}^{2}\lambda _{i}$ $\sum _{{i=1}}^{n}\alpha _{i}^{2}=1$

Deoarece toate valorile proprii sunt nenegative, problema se reduce la găsirea maximului unei funcții convexe și se poate demonstra că este atinsă la și (valorile proprii sunt sortate în ordine descrescătoare). $\alpha _{1}=1$ $\forall i>1,\alpha _{i}=0$

Astfel, raportul Rayleigh atinge maximul la vectorul propriu corespunzător valorii proprii maxime.

Același rezultat folosind multiplicatorii Lagrange

Același rezultat poate fi obținut folosind multiplicatorii Lagrange . Problema este de a găsi punctele critice ale funcției

R(M,x)=x^{T}Mx

la o valoare constantă Adică trebuie să găsiți punctele critice ale funcției $\|x\|^{2}=x^{T}x=1.$

{\mathcal {L}}(x)=x^{T}Mx-\lambda (x^{T}x-1),

unde este multiplicatorul Lagrange. Pentru punctele staționare ale funcției , egalitatea $\lambda$ ${\mathcal {L}}(x)$

{\frac {d{\mathcal {L}}(x)}{dx}}=0

\prin urmare 2x^{T}M^{T}-2\lambda x^{T}=0

\prin urmare Mx=\lambda x

și $R(M,x)={\frac {x^{T}Mx}{x^{T}x}}=\lambda {\frac {x^{T}x}{x^{T}x}} =\lambda .$

Astfel, vectorii proprii ai matricei M sunt puncte critice ale relației Rayleigh, iar valorile lor proprii sunt valorile staționare corespunzătoare. $x_{1}\ldots x_{n}$ $\lambda _{1}\ldots \lambda _{n}$

Această proprietate stă la baza analizei componentelor principale și a corelației canonice .

Utilizare în teoria Sturm-Liouville

Teoria Sturm-Liouville constă în studiul operatorului liniar

L(y)={\frac {1}{w(x)}}\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\ dreapta]+q(x)y\dreapta)

cu produs punctual

\langle {y_{1},y_{2}}\rangle =\int _{a}^{b}w(x)y_{1}(x)y_{2}(x)\,dx

unde funcțiile satisfac anumite condiții la limită specifice în punctele a și b . Relația Rayleigh ia aici forma

{\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(- {\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y(x)\right)}dx}{\int _{ a}^{b}{w(x)y(x)^{2}}dx}}.

Uneori, acest raport este reprezentat într-o formă echivalentă folosind integrarea prin părți [11] :

{\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(- {\frac {d}{dx}}\left[p(x)y'(x)\right]\right)}dx+\int _{a}^{b}{q(x)y(x)^ {2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}

={\frac {-y(x)\left[p(x)y'(x)\right]|_{a}^{b}+\int _{a}^{b}{y'(x )\left[p(x)y'(x)\right]}\,dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\ int _{a}^{b}{w(x)y(x)^{2}}\,dx}}

={\frac {-p(x)y(x)y'(x)|_{a}^{b}+\int _{a}^{b}\left[p(x)y'(x) )^{2}+q(x)y(x)^{2}\right]\,dx}{\int _{a}^{b}{w(x)y(x)^{2)) \,dx}}.

Generalizare

Pentru orice pereche de matrici definite pozitive simetrice reale și un vector diferit de zero , relația Rayleigh generalizată este definită ca $(A, B)$ $X$

R(A,B;x):={\frac {x^{T}Ax}{x^{T}Bx}}.

Relația Rayleigh generalizată poate fi redusă la relația Rayleigh prin transformare , unde este descompunerea matricei Cholesky . $R(D,Cx)$ $D={C^{*}}^{{-1}}AC^{{-1}}$ $C$ $B$

Vezi și

Imagine numerică a unei matrice

Note

↑ cunoscută și sub numele de relația Rayleigh-Ritz , numită după Walter Ritz și Lord Rayleigh .
↑ Horn, R. A. și C. A. Johnson. 1985. Analiza matriceală . Cambridge University Press. pp. 176–180.
↑ Parlet BN The symmetric eigenvalue problem , SIAM, Classics in Applied Mathematics, 1998
↑ Beckenbach, 1965 , §26 Teorema minimax a lui Fischer.
↑ Parlett, 1983 , §4.6 Iterații cu relația Rayleigh, p. 87).
↑ Verbitsky, 2000 , §4.3 Iterații inverse, p. 115.
↑ Gevorgyan .
↑ Prasolov, 2008 , 2.2 Nucleul și imaginea operatorului. Spațiu factorial., p. 114.
↑ Korshunov, 2008 , Introducere.
↑ ACTA, 2005 .
↑ Haberman, 1987 .

Literatură

B. Parlett. Problema cu valori proprii simetrice. Metode numerice. — 1983.
E. Beckenbbach, R. Bellman. Inegalități. - Moscova „Mir”, 1965.
Richard Haberman. Ecuații cu diferențe parțiale aplicate elementare. — Prentice Hall, Englewood, New Jersey, 1987.
V. M. Verzhbitsky. Metode numerice (algebră liniară și ecuații neliniare). - „Școala superioară” din Moscova, 2000.
V. V. Prasolov. Probleme și teoreme ale algebrei liniare. - Moscova, 2008.
Gevorgyan LZ Câteva caracteristici geometrice ale imaginii numerice a unui operator . – Universitatea de Stat de Inginerie din Armenia. Arhivat din original la 31 august 2006.
Zdzisław Burda, Jerzy Jurkiewicz, Bartłomiej Wacław. Densitatea valorilor proprii a matricei de covarianță empirică pentru probele corelate // Acta physica polonica B. - 2005. - Vol. 36 , nr. 9 . - S. 2642 .
Korshunov Yu. M. Obținerea unui eșantion statistic multidimensional cu proprietăți de corelație date . Vestnik RGRTU. - 2008. - Emisiune. 23 .
Shi Yu, Léon-Charles Tranchevent, Bart Moor, Yves Moreau. Ch. 2 // Fuziunea datelor bazată pe kernel pentru învățarea automată: metode și aplicații în bioinformatică și extragerea textului . — Springer, 2011.