Analiza corelației canonice

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită pe 27 martie 2021; verificarea necesită 1 editare .

Analiza de corelație canonică ( CCA ) este o modalitate de a obține informații din matrice de corelație încrucișată . Dacă avem doi vectori și variabile aleatoare și există corelații între aceste variabile, atunci analiza corelației canonice va găsi combinația liniară a X și Y care are corelația maximă [1] . T. R. Knapp a remarcat că „practic toate testele parametrice utilizate în mod obișnuit $X=(X_{1},\dots,X_{n})$ $Y=(Y_{1},\dots, Y_{m})$ semnificația poate fi tratată ca un caz special de analiză a corelației canonice, care este o procedură generală de explorare a relațiilor dintre două seturi de variabile” [2] . Metoda a fost introdusă pentru prima dată de Harold Hotelling în 1936 [3] .

Definiție

Având în vedere doi vectori coloană și variabile aleatoare cu momente secunde finite , se poate defini corelația încrucișată ca o matrice ale cărei elemente sunt covarianțe . În practică, estimăm matricea de covarianță pe baza datelor eșantion de la și (adică dintr-o pereche de matrice de date). $X=(x_{1},\dots ,x_{n})'$ $Y=(y_{1},\dots,y_{m})'$ $\Sigma _{XY}=\operatorname {cov} (X,Y)$ $n\times m$ $(i, j)$ $\operatorname {cov} (x_{i}, y_{j})$ $X$ $Y$

Analiza corelației canonice caută vectori ( ) și ( ) astfel încât variabilele aleatoare și să maximizeze corelația . Variabile aleatoare și sunt prima pereche de variabile canonice . Apoi sunt căutați vectori care maximizează aceeași corelație cu constrângerea că nu sunt corelați cu prima pereche de variabile canonice, aceasta dă a doua pereche de variabile canonice . Această procedură poate fi continuată de până la ori. $A$ $A$ $\in \mathbb {R} ^{n}$ $b$ $b\in \mathbb {R} ^{m)$ $a'^{T}X$ $b'^{T}Y$ $\rho =\operatorname {corr} (a'^{T}X,b'^{T}Y)$ $U=a'^{T}X$ $V=b'^{T}Y$ $\min\{m,n\}$

( A ′ , b ′ ) = argmax A , b corr ⁡ ( A T X , b T Y ) {\displaystyle (a',b')={\underset {a,b}{\operatorname {argmax} }}\operatorname {corr} (a^{T}X,b^{T}Y)}

(a',b')={\underset {a,b}{\operatorname {argmax} }}\operatorname {corr} (a^{T}X,b^{T}Y)

Calcul

Concluzie

Lasă și . Parametru maximizat $\Sigma _{XX}=\operatorname {cov} (X,X)$ $\Sigma _{YY}=\operatorname {cov} (Y,Y)$

\rho ={\frac {a^{T}\Sigma _{XY}b}{{\sqrt {a^{T}\Sigma _{XX}a)} {\sqrt {b^{T} }\Sigma _{YY}b}}}}.

La primul pas, schimbăm baza și determinăm

c=\Sigma _{XX}^{1/2}a,

d=\Sigma _{YY}^{1/2}b.

Atunci noi avem

\rho ={\frac {c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{ {\sqrt {c^{T}c}}{\sqrt {d^{T}d}}}}.

Prin inegalitatea Cauci-Bunyakovsky, obținem

\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\right)(d)\ leqslant \left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\Sigma _{YY}^{- 1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}\left(d^{T}d\right)^{1/2 },

\rho \leqslant {\frac {\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\ Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}}{\left(c^{T}c\right)^{1/2}}} .

O inegalitate devine o egalitate dacă vectorii și sunt coliniari . În plus, corelația maximă este atinsă când este vectorul propriu cu valoarea proprie maximă pentru matrice (vezi relația Rayleigh ). Următoarea pereche este găsită folosind următoarea valoare proprie cea mai mare . Ortogonalitatea este garantată de simetria matricelor de corelație. $d$ $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$ $c$ $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/ 2}$

Soluție

Soluţie:

$c$ este un vector propriu $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/ 2}$
$d$ proporţional $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$

În consecință, de asemenea

$d$ este un vector propriu $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1/ 2}$
$c$ proporţional $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d$

Cu o schimbare inversă a coordonatelor, obținem

$A$ este un vector propriu , $\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}$
$b$ proporţional $\Sigma _{YY}^{-1}\Sigma _{YX}a;$
$b$ este un vector propriu $\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY},$
$A$ proportional . $\Sigma _{XX}^{-1}\Sigma _{XY}b$

Variabilele canonice sunt definite de egalitățile:

U=c'\Sigma _{XX}^{-1/2}X=a'X

V=d'\Sigma _{YY}^{-1/2}Y=b'Y

Implementare

CCA poate fi calculat folosind descompunerea valorii singulare a matricei de corelație [4] . Corelația canonică este disponibilă ca o caracteristică în următoarele sisteme [5] .

MATLAB este funcția canoncorr ( și, de asemenea, în Octave ).
R este o funcție standard cancor și alte câteva pachete. CCP pentru testarea ipotezelor statistice în analiza corelației canonice.
SAS - procedure cancorr .
scikit-learn ,pachet Python - Cross descomposition .
SPSS este macro-ul CanCorr care vine cu pachetul principal.

Testarea ipotezelor

Fiecare rând este testat pentru semnificație folosind următoarea metodă. Deoarece corelațiile sunt sortate, afirmația că rândul este nul implică faptul că toate corelațiile ulterioare sunt, de asemenea, nule. Dacă avem observații independente în eșantion și este corelația estimată pentru , pentru rândul --lea criteriul de semnificație va fi: $i$ $p$ ${\widehat {\rho }}_{i}$ $i=1,\dots,\min\{m,n\)$ $i$

\chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{ \min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),

care este distribuit asimptotic ca un chi-pătrat cu grade de libertate pentru mari [6] . Deoarece toate corelațiile de la până la sunt zero, produsul termenilor după acest punct este irelevant. $(m-i+1)(n-i+1)$ $p$ $\min\{m,n\}$ $p$

Utilizare practică

O utilizare tipică a corelației canonice într-un context experimental este de a lua în considerare două seturi de variabile și de a examina ce au în comun cele două seturi [7] . De exemplu, în cercetarea psihologică, se pot lua două teste de personalitate multivariate stabilite , cum ar fi Minnesota Multidimensional Personality Inventory (MMPI-2) și NEO . Privind modul în care factorii MMPI-2 se leagă de factorii NEO, se poate descoperi care caracteristici au fost găsite a fi comune între cele două teste și cât de mult sunt comune variabilele. De exemplu, s-ar putea descoperi că caracteristici precum extraversia sau nevroticismul constituie o parte substanțială a variabilelor comune pentru cele două teste.

De asemenea, puteți utiliza analiza de corelație canonică pentru a obține o egalitate care leagă două seturi de variabile, cum ar fi un set de măsurători de performanță și un set de variabile explicative sau un set de ieșire și un set de intrare. Un astfel de model pot fi impuse condiții limitative pentru a oferi cerințe teoretice sau intuitiv evidente. Acest tip de model este cunoscut ca model de corelație maximă [8] .

Vizualizarea rezultatelor corelației canonice se face de obicei printr-un grafic cu bare a coeficienților a două seturi de variabile pentru perechi de variabile canonice, arătând o corelație semnificativă. Unii autori sugerează că este mai bine să vizualizați rezultatele pe un heliograf, care este o diagramă circulară cu bare ca raze, dintre care jumătate reprezintă un set de variabile și cealaltă jumătate un al doilea set [9] .

Exemple

Fie cu zero așteptări matematice , i.e. . Dacă , adică și sunt complet corelate, atunci, de exemplu, și , deci prima (doar pentru acest exemplu) pereche de variabile canonice este și . Dacă , adică și sunt complet anticorelate, atunci și , deci prima (doar pentru acest exemplu) pereche de variabile canonice este și . Rețineți că în ambele cazuri , ceea ce arată că analiza corelației canonice funcționează exact la fel cu variabilele corelate ca și cu cele anticorelate. $X=x_{1}$ $\operatorname {E} (X)=0$ $Y=X$ $X$ $Y$ $a=1$ $b=1$ $U=X$ $V=Y=X$ $Y=-X$ $X$ $Y$ $a=1$ $b=-1$ $U=X$ $V=-Y=X$ $U=V$

Relația cu unghiurile principale

Să presupunem că și să avem zero așteptări matematice , i.e. . Matricele lor de covarianță și pot fi considerate ca matrici Gram cu produs interior pentru și respectiv. În această interpretare, variabilele aleatoare, elementele vectorului și elementele vectorului , sunt tratate ca elemente ale unui spațiu vectorial cu produsul scalar dat de covarianță . $X=(x_{1},\dots ,x_{n})'$ $Y=(y_{1},\dots,y_{m})'$ $\operatorname {E} (X)=\operatorname {E} (Y)=0$ $\Sigma _{XX}=\operatorname {Cov} (X,X)=\operatorname {E} [XX']$ $\Sigma _{YY}=\operatorname {Cov} (Y,Y)=\operatorname {E} [YY']$ $X$ $Y$ $x_{i}$ $X$ $y_{j}$ $Y$ $\operatorname {cov} (x_{i}, y_{j})$

Definiția variabilelor canonice și este apoi echivalentă cu definiția vectorilor rădăcină pentru perechile de subspații acoperite de și , ținând cont de acest produs scalar . Corelația canonică este egală cu cosinusul unghiului dintre subspații. $U$ $V$ $X$ $Y$ $\operatorname {corr} (U,V)$

Albire și analiza corelației canonice probabilistice

CCA poate fi considerată și ca o transformare specială de albire [10] , în care vectorii aleatori și sunt transformați simultan în așa fel încât matricea de corelație încrucișată dintre vectorii albiți și să fie diagonală [11] . $X$ $Y$ $X^{CCA}$ $Y^{CCA}$

Corelațiile canonice sunt apoi interpretate ca coeficienți de regresie relaționând , și , și pot fi negative. Privind la CCA ca regresie oferă o modalitate de a construi un model probabilist generativ de variabile latente pentru CCA cu variabile latente necorelate reprezentând varianța totală și parțială. $X^{CCA}$ $Y^{CCA}$

Vezi și

Corelație canonică generalizată
Învățare subspațială multiliniară
Raport RV
Unghiuri dintre hiperplanuri
Metoda componentei principale
Analiza liniară discriminantă
descompunerea unei valori singulare
Regresie parțială cu cele mai mici pătrate

Note

↑ Härdle, Simar, 2007 , p. 321–330.
↑ Knapp, 1978 , p. 410–416.
↑ Hotelling, 1936 , p. 321–377.
↑ Hsu, Kakade, Zhang, 2012 , p. 1460.
↑ Huang, Lee, Hsiao, 2009 , p. 2162.
↑ Mardia, Kent, Bibby, 1979 .
↑ Sieranoja, Sahidullah, Kinnunen, Komulainen, Hadid, 2018 .
↑ Tofallis, 1999 , p. 371–378.
↑ Degani, Shafto, Olson, 2006 , p. 93.
↑ Transformarea de albire transformă un vector de variabile aleatoare folosind o transformare liniară în zgomot alb
↑ Jendoubi, Strimmer, 2018 .

Literatură

Wolfgang Hardle, Leopold Simar. Analiza corelației canonice // Analiză statistică multivariată aplicată. - 2007. - ISBN 978-3-540-72243-4 . - doi : 10.1007/978-3-540-72244-1_14 .
Knapp TR Analiza canonică a corelației: Un sistem general de testare a semnificației parametrice // Buletin psihologic. - 1978. - T. 85 , nr. 2 . - doi : 10.1037/0033-2909.85.2.410 .
Kanti V. Mardia, JT Kent, JM Bibby. analiza multivariată. — Academic Press , 1979.
Hotelling H. Relații între două seturi de variate // Biometrika. - 1936. - T. 28 , nr. 3–4 . - doi : 10.1093/biomet/28.3-4.321 . — .
Hsu D., Kakade SM, Zhang T. A spectral algorithm for learning Hidden Markov Models // Journal of Computer and System Sciences. - 2012. - T. 78 , nr. 5 . - doi : 10.1016/j.jcss.2011.12.025 . - arXiv : 0811.4413 .
Huang SY, Lee MH, Hsiao CK Măsuri neliniare de asociere cu analiza și aplicațiile corelației canonice ale nucleului // Journal of Statistical Planning and Inference. - 2009. - T. 139 , nr. 7 . - doi : 10.1016/j.jspi.2008.10.011 .
Sieranoja S., Sahidullah Md, Kinnunen T., Komulainen J., Hadid A. Audiovisual Synchrony Detection with Optimized Audio Features // IEEE 3rd Int. Conferință privind procesarea semnalului și a imaginilor (ICSIP 2018). - 2018. - iulie.
Tofallis C. Model Building with Multiple Dependent Variables and Constraints // Journal of the Royal Statistical Society, Series D. - 1999. - V. 48 , nr. 3 . - doi : 10.1111/1467-9884.00195 . - arXiv : 1109.0725 .
Degani A., Shafto M., Olson L. Canonical Corelation Analysis: Use of Composite Heliographs for Representing Multiple Patterns // Reprezentare diagramă și inferență . - 2006. - T. 4045. - (Note de curs în Informatică). — ISBN 978-3-540-35623-3 . - doi : 10.1007/11783183_11 .
Jendoubi T., Strimmer K. O abordare de albire a analizei de corelație canonică probabilistică pentru integrarea datelor omice. — 2018.

Link -uri

Analiza corelației discriminante (DCA)
- Haghighat M., Abdel-Mottaleb M., Alhalabi W. Analiza corelației discriminante: Fuziune la nivel de caracteristică în timp real pentru recunoașterea biometrică multimodală . Tranzacții IEEE privind criminalistica și securitatea informațiilor]. - 2016. - T. 11(9). ( MATLAB )
Hardoon D., Szedmak S., Shawe-Taylor J. Analiza corelației canonice: o privire de ansamblu cu aplicarea metodelor de învățare // Calcul neuronal. - 2004. - T. 16 , nr. 12 . - P. 2639-2664. - doi : 10.1162/0899766042321814 . — PMID 15516276 .
O notă privind analiza ordinală canonică-corelație a două seturi de scoruri de clasare - Journal of Quantitative Economics 7(2), 2009, pp. 173–199
Analiza corelației canonice constrânse de reprezentare: o hibridizare a corelației canonice și a analizelor componentelor principale ( programul FORTRAN furnizat ) - Journal of Applied Economic Sciences 4(1), 2009, pp. 115–124

Învățare automată și extragerea datelor
Sarcini	Problema de clasificare Învățați fără profesor Învățare asistată de profesor Analiza regresiei AutoML Regulile de asociere Extragerea caracteristicilor Antrenamentul trăsăturilor Antrenament de clasare Derivarea gramaticală Învățare online
Învățarea cu un profesor	metoda k-cel mai apropiat vecin Clasificator naiv Bayes arborele de decizie Suport mașină vectorială Regresie liniara Regresie logistică perceptron Ansambluri de modele Bagare stimularea pădure la întâmplare Metoda vectorială relevantă
analiza grupului	metoda k-means Metoda de grupare fuzzy Gruparea ierarhică algoritmul EM MESTEACĂN VINDECA DBSCAN OPTICA Schimbarea medie
Reducerea dimensionalității	Analiza factorilor Metoda componentei principale CCA ICA LDA Expansiunea nenegativă a matricei t-SNE
Prognoza structurală	Modelul probabilistic grafic Rețeaua bayesiană Modelul Markov ascuns CRF
Detectarea anomaliilor	metoda k-cel mai apropiat vecin Nivelul de emisie local
Modele grafice probabilistice	Rețeaua bayesiană Rețeaua Markov Modelul Markov ascuns
Rețele neuronale	Mașină Boltzmann limitată hartă de auto-organizare Funcția de activare Sigmoid softmax Funcția de bază radială Metoda de propagare înapoi Invatare profunda Perceptron multistrat Rețea neuronală recurentă memorie pe termen lung și scurt Bloc recurent controlat Rețeaua neuronală convoluțională U-Net Autoencoder
Consolidarea învățării	procesul Markov Ecuația Bellman Algoritmul lacom Q-learning SARSA Diferența temporală (TD)
Teorie	Teoria Vapnik-Chervonenkis Dilema părtinire-dispersie Teoria învățării computaționale Minimizarea riscului empiric Occam învață Învățarea PAC Teoria învăţării statistice
Reviste și conferințe	NeurIPS ICML ML JMLR ArXiv:cs.LG