Analiza componentelor independente

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită la 12 martie 2021; verificarea necesită 1 editare .

Independent Component Analysis ( ICA ) , numită și Independent Component Analysis ( OLS ) , este o metodă de calcul în procesarea semnalului pentru separarea unui semnal multidimensional în subcomponente aditive. Această metodă se aplică sub ipoteza că subcomponentele sunt semnale non-Gauss și că sunt independente statistic unele de altele. ANC este un caz special de separare oarbă a semnalului . Un exemplu tipic de aplicație este problema cocktail-ului - când oamenii de la o petrecere zgomotoasă evidențiază vocea interlocutorului, în ciuda muzicii puternice și a zgomotului oamenilor din cameră: creierul este capabil să filtreze sunetele și să se concentreze pe o singură sursă (vocea omologului) în timp real.

Introducere

Analiza independentă a componentelor încearcă să descompună un semnal multiplu în semnale independente non-Gauss. De exemplu, un sunet este de obicei un semnal care constă în adăugarea în fiecare moment a unor semnale t unice care provin din mai multe surse. Întrebarea este dacă este posibilă separarea acestor surse, separându-le de semnalul general. Dacă presupunerea independenței statistice este corectă, separarea oarbă a componentelor independente ale semnalului mixt va da rezultate foarte bune. Metoda este, de asemenea, utilizată pentru a analiza semnale care nu pot fi amestecate.

O simplă aplicație a ANC este „problema petrecerii zgomotoase”, când interlocutorii se aud, izolând vocea interlocutorului de semnalul general, constând în zgomotul oamenilor care vorbesc simultan în cameră și o stradă zgomotoasă în afara ferestrei. De obicei, sarcina este simplificată presupunând că nu există întârziere sau ecou. Rețineți că semnalul filtrat și întârziat este o copie a componentei dependente, iar apoi ipoteza independenței statistice nu este încălcată.

De asemenea, este important de luat în considerare faptul că, dacă sunt prezentate sursele, sunt necesare cel puțin observații (ex. microfoane, dacă semnalul observat este audio) pentru a detecta semnalele originale. În acest caz, matricea este pătrată ( , unde este dimensiunea de intrare a datelor și este dimensiunea modelului). În caz contrar, obținem și studiem cazul subdeterminat ( ) sau supradeterminat ( ). ${\textstyle N}$ ${\textstyle N}$ ${\textstyle J=D}$ ${\textstyle D}$ ${\textstyle J}$ ${\textstyle J>D}$ ${\textstyle J<D}$

Metoda ANC - separarea semnalului mixt, bazată pe două ipoteze și trei efecte ale surselor de semnal mixte, care dă rezultate foarte bune. Cele două ipoteze sunt:

Sursele de semnal sunt independente unele de altele.
Valorile fiecărei surse de semnal au o distribuție non-Gaussiană.

Cele trei efecte ale unei surse de semnal mixt sunt:

Independență : Ca și în ipoteza 1, sursele de semnal sunt independente, totuși amestecul lor nu este independent de sursă deoarece amestecul de semnale are aceleași surse.
Normalitate : Conform teoremei limitei centrale , distribuția unei sume de variabile aleatoare independente cu varianță finită tinde către o distribuție gaussiană. Pur și simplu, suma a două variabile aleatoare independente are de obicei o distribuție mai gaussiană decât oricare dintre cele două variabile aleatoare originale. Aici tratăm fiecare semnal ca pe o variabilă aleatorie.
Complexitate : complexitatea în timp a oricărui amestec de semnale este mai mare decât complexitatea unui singur semnal care este mai simplu în componentele sale.

Aceste principii formează bazele de bază ale ANC. Dacă semnalele pe care am putut să le extragem din amestec sunt independente, ca semnalele originale, și au histograme non-Gauss, sau au complexitate redusă, ca semnalul sursă, ele trebuie să fie semnale sursă [2] [3] .

Definiția component independence

ANC găsește componente independente (numiți factori, variabile latente sau surse) prin maximizarea independenței statistice a componentelor estimate. Puteți alege una dintre multele moduri de a defini un substitut pentru independență, iar această alegere va determina forma algoritmului ANC. Cele mai largi două definiții ale independenței ANC sunt:

Minimizarea reciprocă a informațiilor
Maximizarea non-gaussismului

Familia ANC de algoritmi de minimizare a informațiilor reciproce (MMI) utilizează măsuri precum divergența Kullback - Leibler și entropia maximă . Familia ANC de algoritmi de maximizare non-Gauss folosește curtoza și negentropia .

Algoritmii tipici ANC tind să folosească următoarele metode:

centrare ( scăderea mediei și crearea unei medii zero pentru semnal);
scăparea de corelație (de obicei cu ajutorul descompunerii spectrale a matricei );
reducerea dimensionalității ca pași de preprocesor pentru a reduce complexitatea problemei și a produce un algoritm iterativ valid.

Decorrelația și reducerea dimensionalității pot fi obținute prin analiza componentelor principale sau descompunerea valorii singulare . Decorrelation oferă metodei astfel de condiții atunci când toate dimensiunile sunt tratate în mod egal și sunt setate a priori înainte de a rula algoritmul. Algoritmi cunoscuți pentru ANC: infomax , FastICA , JADE , kernel independent component analysis și multe altele. În general, ANC nu va putea determina numărul real de surse de semnal, singura ordine corectă sau scara (inclusiv semnul) a semnalelor.

ANC este important pentru separarea semnalelor oarbe și are multe aplicații practice. Metoda este strâns legată de căutarea (sau chiar de un caz special de căutare) pentru codificarea factorială a datelor, adică o nouă reprezentare vectorială a fiecărui vector de date în așa fel încât să fie codificat în mod unic de către rezultatul. vector de cod (codare fără pierderi), în timp ce componentele codului sunt independente statistic.

Definiție matematică

Analiza liniară a componentelor independente poate fi împărțită în cazul zgomotos și cazul zgomotos, unde ANC zgomotos este un caz frecvent de ANC zgomotos. ANC neliniar ar trebui considerat un caz separat.

Definiție generală

Datele sunt reprezentate de vectorul aleator observat iar componentele ascunse de vectorul aleator . Sarcina construcției algoritmului este de a transforma datele observate folosind o transformare statică într-un vector observat de componente maxim independente măsurate de o funcție de independență . ${\boldsymbol {x}}=(x_{1},\ldots,x_{m})^{T}$ ${\boldsymbol {s}}=(s_{1},\ldots, s_{n})^{T}$ ${\ simbol aldine {x}}$ ${\ simbol aldine {W}}$ ${\boldsymbol {s}}={\boldsymbol {W}}{\boldsymbol {x}}$ $F(s_{1},\ldots, s_{n})$

Generarea modelului

ANC liniar fără zgomot

Componentele vectorului aleatoriu observat sunt generate ca sumă a componentelor independente : $x_{i}$ ${\boldsymbol {x}}=(x_{1},\ldots,x_{m})^{T}$ $s_{k)$ $k=1,\ldots ,n$

${\displaystyle x_{i}=a_{i,1}s_{1}+\cdots +a_{i,k}s_{k}+\cdots +a_{i,n}s_{n))$

cântărit cu cântar . $a_{i,k)$

Același model generator poate fi scris sub formă vectorială ca , unde vectorul aleator observat este reprezentat de vectorii de bază . Vectorii de bază formează coloanele matricei de amestecare, iar formula generatoare poate fi scrisă ca , unde . ${\boldsymbol {x}}=\sum _{k=1}^{n}{\boldsymbol {s}}_{k}{\boldsymbol {a}}_{k}$ $X$ ${\boldsymbol {a}}_{k}=({\boldsymbol {a}}_{1,k},\ldots, {\boldsymbol {a}}_{m,k})^{T }$ ${\boldsymbol {a}}_{k}$ ${\boldsymbol {A}}=({\boldsymbol {a}}_{1},\ldots,{\boldsymbol {a}}_{n})$ ${\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}$ ${\boldsymbol {s}}=(s_{1},\ldots, s_{n})^{T}$

Având în vedere un model și implementarea unui vector aleator , sarcina este de a evalua atât matricea de amestecare, cât și sursele . Acest lucru se realizează prin calcularea adaptivă a vectorilor și stabilirea unei funcții de cost care fie maximizează non-gaussianitatea datelor calculate, fie minimizează informațiile reciproce. În unele cazuri, cunoașterea a priori a distribuției probabilității sursei poate fi utilizată în funcția de cost. $x_{1},\ldots,x_{N)$ ${\ simbol aldine {x}}$ ${\ simbol aldine {A}}$ ${\ simbol aldine {s)}$ ${\bold symbol {w}}$ $s_{k}={\boldsymbol {w}}^{T}{\boldsymbol {x}}$

Sursele originale pot fi extrase prin înmulțirea semnalelor observate cu inversul matricei de amestecare , care este cunoscută și sub denumirea de matrice de non-blending. Aici, se presupune că matricea de amestecare este pătrată ( ). Dacă numărul de vectori de bază este mai mare decât dimensiunea vectorilor observați , problema este supradeterminată , dar rămâne rezolvabilă folosind o matrice pseudo -inversă . ${\ simbol aldine {s)}$ ${\ simbol aldine {x}}$ ${\boldsymbol {W}}={\boldsymbol {A}}^{-1}$ $n=m$ $n>m$

ANC liniar cu zgomot

Cu ipoteza suplimentară a mediei zero și a zgomotului gaussian necorelat , modelul ANC ia forma . $n\sim N(0,\operatorname {diag} (\Sigma ))$ ${\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}+n$

ANC neliniar

Amestecul de surse nu trebuie să fie liniar. Folosind o funcție de amestecare neliniară cu parametri, modelul ANC neliniar va fi . $f(\cdot |\theta )$ $\theta$ $x=f(s|\theta)+n$

Distingere

Componentele independente se disting până la permutarea și scalarea surselor. Această distincție necesită:

Cel mult una dintre surse a fost gaussiană, $s_{k)$
Numărul amestecurilor observate nu trebuie să fie mai mic decât numărul componentelor : . Acest lucru este echivalent cu a spune că matricea de amestec trebuie să aibă rang complet pentru ca amestecul său invers să existe. $m$ $n$ $m\geqslant n$ ${\ simbol aldine {A}}$

Analiza binară a componentelor independente

O variantă specială a ANC este Binary ANC , în care atât sursele de semnal, cât și monitoarele sunt în formă binară, iar observațiile monitorului sunt un amestec disjunctiv de surse binare independente. S-a demonstrat că problema are aplicații în multe domenii, inclusiv diagnosticare medicală , atribuire multi-cluster, imagistica de rețea managementul resurselor de pe Internet.

Fie un set de variabile binare de la monitoare și un set de variabile binare din surse. Relațiile sursă-monitor sunt reprezentate de matricea mixtă (necunoscută) , unde indică faptul că semnalul de la i -a sursă poate fi observat de j -a -lea monitor. Sistemul funcționează astfel: în orice moment, dacă sursa este activă ( ) și este conectată la un monitor ( ), atunci monitorul va observa o anumită activitate ( ). Formal avem: ${x_{1},x_{2},\ldots,x_{m))$ $m$ ${y_{1},y_{2},\ldots,y_{n))$ $n$ ${\textstyle {\boldsymbol {G}}}$ $g_{ij}=1$ $i$ $y_{i}=1$ $j$ $g_{ij}=1$ $j$ $x_{j}=1$

x_{i}=\bigvee _{j=1}^{n}(g_{ij}\wedge y_{j}), i=1,2,\ldots, m,

unde este un boolean AND ( ing. AND ) și este un boolean OR ( ing. OR ). Rețineți că zgomotul nu este modelat în mod explicit, ci este tratat ca surse independente. $\pană$ $\vee$

Problema descrisă mai sus poate fi rezolvată euristic [4] (presupunând că variabilele sunt continue) prin aplicarea metodei FastICA asupra datelor binare observate pentru a obține o matrice mixtă (valori reale obținute), apoi aplicând tehnica de rotunjire pentru a obține valori binare. Această abordare s-a dovedit a fi foarte inexactă. ${\textstyle {\boldsymbol {G}}}$ ${\textstyle {\boldsymbol {G}}}$

O altă metodă este de a folosi programarea dinamică - matricea împarte recursiv observațiile în submatrici și algoritmul de inferență este rulat pe aceste submatrici. Observația cheie care conduce la acest algoritm este submatricea matricei , unde corespunde matricei imparțiale a observațiilor componente ascunse care nu au nicio legătură cu monitorul --lea. Rezultatele experimentale [5] arată că această abordare este precisă la un nivel moderat de zgomot. ${\textstyle {\boldsymbol {X}}}$ ${\textstyle {\boldsymbol {X}}^{0}}$ ${\textstyle {\boldsymbol {X}}}$ ${\textstyle x_{ij}=0\forall j}$ $i$

Aparatul ANC binar generalizat [6] introduce o descriere mai amplă a problemei care nu necesită nicio cunoaștere a modelului generator. Cu alte cuvinte, această metodă încearcă să descompună sursa în componente independente (pe cât posibil pentru a crea un algoritm fără a pierde nicio informație) fără presupuneri prealabile despre aplicarea metodei prin care a fost obținută. Deși această problemă este destul de dificilă, ea poate fi rezolvată exact folosind metoda ramurilor și legate sau exact mărginită de sus prin înmulțirea unei matrice cu un vector.

Metode de separare a semnalului orb

Găsirea celei mai bune proiecții

Amestecurile de semnale tind să aibă o densitate de probabilitate Gauss, iar semnalele sursă tind să aibă o densitate de probabilitate non-Gauss. Fiecare sursă de semnal poate fi extrasă dintr-un set de amestecuri de semnal prin calcularea produsului scalar al vectorului de greutate și amestecul de semnal pe care acest produs scalar dă o proiecție ortogonală a amestecului de semnal. Următoarea sarcină este găsirea vectorului de greutate. O metodă este de a găsi cea mai bună proiecție [2] [7] .

Căutarea celei mai bune proiecții caută o proiecție pe pas, presupunând că semnalul extras este cât se poate de non-Gauss. Acest lucru este în contrast cu ANC, care extrage de obicei semnale M simultan din amestecuri M de semnale, ceea ce necesită evaluarea matricei care nu se amestecă. Un avantaj practic al găsirii celei mai bune proiecții peste ANC este că mai puțin de semnale M pot fi extrase dacă este necesar, unde fiecare sursă de semnal este extrasă dintr-un amestec de semnale M folosind un vector de ponderi M -element. $M\times M$

Putem folosi factorul de curtoză pentru a extrage un semnal cu mai multe surse prin găsirea vectorilor de greutate corecti folosind cea mai bună căutare de proiecție.

Coeficientul de curtoză al densității de probabilitate a semnalului, pentru o probă finită se calculează ca

K={\frac {\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y)} )^{4}]}{(\operatorname {E} [(\mathbf { y} -\mathbf {\overline {y}} )^{2}])^{2}}}-3

unde este media eșantionului a semnalelor extrase. Constanta 3 asigură că semnalele Gaussiene au curtoză zero, semnalele super-Gauss au curtoză pozitivă, iar semnalele sub-Gauss au kurtoză negativă. Numitorul este egal cu varianța și asigură că factorul de curtoză măsurat obține varianța semnalului. Scopul găsirii celei mai bune proiecții este de a maximiza factorul de curtoză și de a face semnalul extras cât mai nenormal posibil. $\mathbf {\overline {y}}$ $\mathbf {y}$ $\mathbf {y}$

Folosind curtoza ca măsură a nenormalității, putem testa acum cât de mult se modifică kurtoza unui semnal , extras dintr-un set de M amestecuri , pe măsură ce vectorul de greutate se rotește în jurul originii. Având în vedere că fiecare sursă de semnal este super-gaussiană, ne putem aștepta $\mathbf {y} =\mathbf {w} ^{T}\mathbf {x}$ $\mathbf {x} =(x_{1},x_{2},\ldots,x_{M})^{T)$ $\mathbf {w}$ ${\mathbf {s}}$

coeficientul de curtoză al semnalului extras este maxim exact când . $\mathbf {y}$ $\mathbf {y} =\mathbf {s}$
Coeficientul de curtoză al semnalului extras este maxim atunci când este ortogonal față de proiecțiile axelor sau , deoarece știm că vectorul de greutate optim trebuie să fie ortogonal față de axele transformate și . $\mathbf {y}$ $\mathbf {w}$ $S_{1}$ $S_{2}$ $S_{1}$ $S_{2}$

Pentru un amestec de semnale din diferite surse, putem folosi Gram-Schmidt Orthogonalization Kurtosis (GNR) pentru a extrage semnalele. Având în vedere un amestec de semnale M într-un spațiu M - dimensional, GNR proiectează aceste puncte de date în spațiul ( M-1 )-dimensional folosind un vector de greutate. Putem garanta independenta semnalelor extrase cu ajutorul OGNR.

Pentru a găsi valoarea corectă, putem folosi metoda de coborâre a gradientului . În primul rând, scăpăm de corelație și transformăm într-un nou amestec care are varianță unitară și . Acest proces poate fi realizat aplicând descompunerea valorii singulare la , $\mathbf {w}$ $\mathbf {x}$ $\mathbf {z}$ $\mathbf {z} =(z_{1},z_{2},\ldots,z_{M})^{T)$ $\mathbf {x}$

\mathbf {x} =\mathbf {U} \mathbf {D} \mathbf {V} ^{T)

Scalați fiecare vector și setați . Semnalul evidențiat de vectorul ponderat este egal cu . Dacă vectorul de greutate w are lungimea unitară, adică , atunci factorul de curtoză poate fi rescris ca: $U_{i}=U_{i}/\operatorname {E} (U_{i}^{2})$ $\mathbf {z} =\mathbf {U}$ $\mathbf {w}$ $\mathbf {y} =\mathbf {w} ^{T}\mathbf {z}$ $\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{2}]=1$

K={\frac {\operatorname {E} [\mathbf {y} ^{4}]}{(\operatorname {E} [\mathbf {y} ^{2}])^{2)} }-3=\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{4}]-3.

Proces de upgrade pentru : $\mathbf {w}$

\mathbf {w} _{nou}=\mathbf {w} _{vechi}-\eta \operatorname {E} [\mathbf {z} (\mathbf {w} _{vechi}^{T} \mathbf {z} )^{3}].

unde este o constantă mică pentru a se asigura că converge către soluția optimă. După fiecare actualizare, normalizăm atât setul, cât și repetă procesul de actualizare până când acesta converge. De asemenea, putem folosi un alt algoritm pentru a actualiza vectorul de greutate . $\eta$ $\mathbf {w}$ $\mathbf {w} _{nou}={\frac {\mathbf {w} _{nou}}{|\mathbf {w} _{nou}|}}$ $\mathbf {w} _{vechi}=\mathbf {w} _{nou)$ $\mathbf {w}$

O altă abordare este utilizarea negentropiei [8] în locul coeficientului de curtoză. Negentropia este robustă în ceea ce privește kurtoza, deoarece kurtoza este foarte sensibilă la valori aberante. Metoda negentropiei se bazează pe o proprietate importantă a distribuției gaussiene - o variabilă aleatoare normală are cea mai mare entropie dintre toate variabilele aleatoare continue cu aceeași varianță. Acesta este și motivul pentru care dorim să găsim cele mai multe variabile non-Gauss. O demonstrație simplă poate fi găsită în articolul entropie diferențială .

J(x)=S(y)-S(x)\,

y este o variabilă aleatorie gaussiană a unei matrice covariantă,

S(x)=-\int p_{x}(u)\log p_{x}(u)du

Aproximația pentru negentropie este

J(x)={\frac {1}{12}}(E(x^{3}))^{2}+{\frac {1}{48}}(kurt(x))^ {2}

Dovada poate fi găsită la pagina 131 a cărții Analysis of Independent Components de Aapo Hyvärinen, Juha Karhunen și Erkki Oja [3] . Această aproximare suferă, de asemenea, de aceleași probleme ca și factorul de curtoză (sensibilitate la valori aberante). Au fost dezvoltate și alte abordări [9]

J(y)=k_{1}(E(G_{1}(y)))^{2}+k_{2}(E(G_{2}(y))-E(G_{2} }(v))^{2}

Alegerea și $G_{1}$ $G_{2}$

G_{1}={\frac {1}{a_{1)}}\log(\cosh(a_{1}u))

și

G_{2}=-\exp(-{\frac {u^{2}}{2}})

Bazat pe infomax

ANC este în esență o versiune paralelă multivariată a găsirii celei mai bune proiecții. În timp ce căutarea celei mai bune proiecții extrage o serie de semnale dintr-un amestec de semnale M , ANC extrage semnale M în paralel. Acest lucru duce la o mai mare stabilitate ANC în comparație cu găsirea celei mai bune proiecții [2] .

Cea mai bună metodă de căutare a proiecției folosește ortogonalizarea Gram-Schmidt pentru a asigura independența semnalelor extrase, în timp ce ANC utilizează infomax și estimarea probabilității maxime pentru a asigura independența semnalului extras. Anormalitatea semnalului extras este realizată folosind un model adecvat.

Procesul ANC bazat pe infomax , pe scurt: având în vedere un amestec de semnale și un set de funcții de distribuție independente identice , căutăm o matrice fără amestecare care maximizează entropia comună a semnalelor , unde sunt semnalele eșantionate de . Având în vedere o valoare optimă , semnalele au entropie maximă și, prin urmare, sunt independente, ceea ce asigură că semnalele selectate sunt de asemenea independente. Funcția este reversibilă și este un model de semnal. Rețineți că dacă densitatea de probabilitate a modelului sursei de semnal corespunde densității de probabilitate a semnalului extras , atunci maximizarea entropiei comune maximizează și cantitatea de informații reciproce între și . Din acest motiv, utilizarea entropiei pentru a extrage semnale independente este cunoscută sub numele de infomax . $\mathbf {x}$ $g$ ${\mathbf {W}}$ $\mathbf {Y} =g(\mathbf {y} )$ $\mathbf {y} =\mathbf {Wx}$ ${\mathbf {W}}$ ${\mathbf {W}}$ $\mathbf {Y}$ $\mathbf {y} =g^{-1}(\mathbf {Y} )$ $g$ $p_{s)$ $p_{\mathbf {y} }$ $Y$ $\mathbf {x}$ $\mathbf {Y}$

Luați în considerare entropia unei variabile vectoriale , unde este un set de semnale separate printr-o matrice fără amestecare . Pentru un set finit de valori alese dintr-o distribuție a densității de probabilitate , entropia poate fi estimată ca: $\mathbf {Y} =g(\mathbf {y} )$ $\mathbf {y} =\mathbf {Wx}$ ${\mathbf {W}}$ $p_{\mathbf {y} }$ $\mathbf {Y}$

H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {Y} }(\mathbf {Y} } ^{t})

Se poate demonstra că densitatea de probabilitate comună este legată de densitatea de probabilitate comună a semnalelor extrase folosind o formă multivariată: $p_{\mathbf {Y} }$ $p_{\mathbf {y} }$

p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{ \partial \mathbf {y} }}|}}

unde este matricea jacobiană . Avem , și este densitatea de probabilitate luată pentru sursele de semnal , prin urmare, $\mathbf {J} = {\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}$ $|\mathbf {J} |=g'(\mathbf {y} )$ $g'$ $g'=p_{s)$

p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{ \partial \mathbf {y} }}|}}={\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )} }

de aceea,

H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {y} }( \mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}

Știm că atunci când , este o distribuție uniformă și este maximizată. Pentru că $p_{\mathbf {y} }=p_{s)$ $p_{\mathbf {Y} }$ $H({\mathbf {Y} })$

p_{\mathbf {y} }(\mathbf {y} )={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|{\frac {\partial \mathbf { y} }{\partial \mathbf {x} }}|}}={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|\mathbf {W} |}}

unde este valoarea absolută a determinantului matricei care nu se amestecă . De aceea, $|\mathbf {W} |$ ${\mathbf {W}}$

H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {x} }( \mathbf {x} ^{t})}{|\mathbf {W} |p_{\mathbf {s} }(\mathbf {y} ^{t})))

asa de,

H(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |+H(\mathbf {x} )

întrucât , iar maximizarea nu afectează , putem maximiza funcția $H(\mathbf {x} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {x} }(\mathbf {x } ^{t})$ ${\mathbf {W}}$ $H_{\mathbf {x} }$

h(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |

pentru a obține independența semnalului extras.

Dacă există M densități marginale de probabilitate ale modelului, densitățile comune de probabilitate sunt independente și utilizează un model de densitate de probabilitate super-Gauss pentru sursele de semnal , atunci obținem $p_{\mathbf {s} }$ $p_{\mathbf {s} }=(1-\tanh(\mathbf {s} )^{2})$

h(\mathbf {Y} )={\frac {1}{N}}\sum _{i=1}^{M}\sum _{t=1}^{N}\ln(1 -\tanh(\mathbf {w_{i}^{T}x^{t}} )^{2})+\ln |\mathbf {W} |

În concluzie, având în vedere amestecul de semnal observat , setul corespunzător de semnale extrase și modelul sursei de semnal , putem găsi matricea optimă de non-amestecare și putem face semnalele extrase independente și non-Gauss. Similar cu situația cu găsirea celei mai bune proiecții, putem folosi metoda de coborâre a gradientului pentru a găsi soluția optimă pentru matricea care nu se amestecă. $\mathbf {x}$ $\mathbf {y}$ $p_{\mathbf {s} }=g'$ ${\mathbf {W}}$

Pe baza estimării de probabilitate maximă

Estimarea cu probabilitate maximă ( MLE ) este un instrument statistic standard pentru găsirea valorilor parametrilor (de exemplu, matricea fără amestecare ) care oferă cea mai bună potrivire a unor date (de exemplu, semnale extrase ) pentru un model dat (de exemplu, comun surse de semnal cu densitate de probabilitate (PT ) [2] . ${\mathbf {W}}$ $y$ $p_{s)$

Modelul de probabilitate maximă include o specificație a densității de probabilitate, care în acest caz este densitatea de probabilitate a semnalelor sursei necunoscute . Atunci când se utilizează probabilitatea maximă , scopul este de a găsi o matrice fără amestecare care să producă semnale extrase cu o densitate de probabilitate comună care este cât mai similară cu densitatea de probabilitate comună a semnalelor sursă necunoscută . $p_{s)$ $s$ $y=\mathbf {W} x$ $p_{s)$ $s$

Estimarea probabilității maxime se bazează pe presupunerea că, dacă modelul de densitate a probabilității și modelul parametrilor sunt corecte, atunci ar trebui să se obțină o probabilitate mare pentru ca datele să fie într-adevăr observabile. În schimb, dacă este departe de valorile corecte ale parametrilor, atunci ar trebui să ne așteptăm la o probabilitate scăzută de a observa datele. $p_{s)$ $\mathbf {A}$ $X$ $\mathbf {A}$

În estimarea probabilității maxime , ne referim la probabilitatea datelor observate pentru un set dat de valori ale parametrilor modelului (de exemplu, densitatea probabilității și matricea ) ca probabilitatea valorilor parametrilor modelului date de datele observate. $p_{s)$ $\mathbf {A}$

Definim funcția de probabilitate a matricei : $\mathbf {L(W)}$ ${\mathbf {W}}$

$\mathbf {L(W)} =p_{s}(\mathbf {W} x)|\det \mathbf {W} |.$

Aceasta este egală cu densitatea de probabilitate în , deoarece . $X$ $s=\mathbf {W} x$

Apoi, dacă vrem să găsim , atunci este cel mai probabil să fi generat amestecuri observate din surse de semnal necunoscute cu o densitate de probabilitate , atunci trebuie doar să găsim , ceea ce maximizează probabilitatea . Matricea de neamestecare care maximizează egalitatea este cunoscută ca estimarea de probabilitate maximă de către matricea de dezmembrare optimă. ${\mathbf {W}}$ $X$ $s$ $p_{s)$ ${\mathbf {W}}$ $\mathbf {L(W)}$

O practică obișnuită este utilizarea log- probabilității , deoarece este cel mai ușor de calculat. Deoarece logaritmul este o funcție monotonă, matricea care maximizează funcția își maximizează și logaritmul . Acest lucru vă permite să luați logaritmul din ecuația de mai sus, care oferă logaritmul funcției de probabilitate ${\mathbf {W}}$ $\mathbf {L(W)}$ $\ln \mathbf {L(W)}$

$\ln \mathbf {L(W)} =\sum _{i}\sum _{t}\ln p_{s}(w_{i}^{T}x_{t})+N\ln |\det \mathbf {W} |$

Dacă înlocuim modelul de densitate cu probabilitate mare de curtoză utilizat pe scară largă cu sursele de semnal , obținem $p_{s}=(1-\tanh(s)^{2})$

$\ln \mathbf {L(W)} = {1 \over N}\sum _{i}^{M}\sum _{t}^{N}\ln(1-\tanh(w_{ i}^{T}x_{t})^{2})+\ln |\det \mathbf {W} |$

Matricea care maximizează această funcție este estimatorul de maximă probabilitate . ${\mathbf {W}}$

Istorie și fundal

Un cadru general timpuriu pentru analiza componentelor independente a fost propus de Jenny Herault și Bernard Anse în 1984 [10] , urmat de Christian Jutten în 1985 [11] [12] [13] . Această metodă a fost expusă cel mai clar de Pierre Caumont în 1994 [14] . În 1995, Tony Bell și Terry Sejnowski au propus un algoritm ANC rapid și eficient bazat pe principiul infomax introdus de Ralph în 1987.

Mulți algoritmi care implementează ANC sunt disponibili și sunt descriși în literatura de specialitate. Algoritmul FastICA dezvoltat de Aapo Hyvärinen și Erkki Oja este utilizat pe scară largă, inclusiv în aplicațiile de producție. Folosește factorul de curtoză în funcție de preț. Alte exemple sunt mai mult legate de separarea semnalului oarbă , care se bazează pe o abordare mai generală. De exemplu, se poate omite ipoteza independenței și semnalele separate corelate în perechi și, prin urmare, se pot evita semnalele „dependente” statistic. Sepp Hochreiter și Jürgen Schmidhuber au arătat cum să obțineți un ANC neliniar sau să implementați separarea sursei dacă acestea sunt un produs secundar al regularizării (1999) [15] . Metoda lor nu necesită cunoaștere indiscutabilă și riguroasă a numărului de surse independente.

Aplicații

ANC poate fi extins pentru a analiza semnale non-fizice. De exemplu, ANC a fost folosit pentru a descoperi subiecte de discuție în arhivele de știri.

Unele dintre aplicațiile ANC sunt enumerate mai jos [2] :

imagine optică a neuronilor [16]
sortarea impulsurilor neuronilor sortarea [17]
recunoaștere facială [18]
modelarea câmpului receptor al neuronilor vizuali principali [19]
previziunea prețurilor pe piața valorilor mobiliare [20]
telefonie mobilă [21]
determinarea maturității unei roșii pe baza culorii [22]
îndepărtarea obiectelor, cum ar fi clipirea ochilor, din datele electroencefalogramei [23]
analiza modificărilor expresiei genelor de-a lungul timpului în experimente privind secvențierea ARN într-o singură celulă [24]
studiul RMN funcțional al creierului în repaus [25]

Vezi și

Deconvoluție oarbă
Analiza factorilor
Gilbert Spectrum
Procesare digitală a imaginii
Analiza componentelor principale multiliniare
Învățare subspațială multiliniară
Expansiunea nenegativă a matricei
Reducerea dimensionalității neliniare
Găsirea celei mai bune proiecții
Varimax Rotation

Note

↑ Isomura, Toyoizumi, 2016 .
↑ 1 2 3 4 5 Stone, 2004 .
↑ 1 2 Hyvärinen, Karhunen, Oja, 2001 .
↑ Himbergand, Hyvärinen, 2001 .
↑ Nguyen, Zheng, 2011 , p. 3168-3181.
↑ Painsky, Rosset, Feder, 2014 , p. 1326–1330.
↑ Kruskal, 1969 , p. 427–440.
↑ Hyvärinen, Oja, 2000 , p. 411–430.
↑ Hyvärinen, 1998 , p. 273–279.
↑ Hérault, Ans, 1984 , p. 525–528.
↑ Ans, Hérault, Jutten, 1985 , p. 593-597.
↑ Hérault, Jutten, Ans, 1985 , p. 1017-1022.
↑ Hérault, Jutten, 1986 , p. 206-211.
↑ Comun, 1994 .
↑ Hochreiter și Schmidhuber 1999 , p. 679–714.
↑ Brown, Yamada, Sejnowski, 2001 , p. 54–63.
↑ Lewicki, 1998 , p. 53–78.
↑ Barlett, 2001 .
↑ Bell, Sejnowski, 1997 , p. 3327–3338.
↑ Înapoi, Weigend, 1997 , p. 473–484.
↑ Hyvarinen, Karhunen, Oja, 2001 .
↑ Polder, van der Heijen, 2003 , p. 57–64.
↑ Delorme, Sejnowski, Makeig, 2007 , p. 1443–1449
↑ Trapnell, Cacchiarelli, Grimsby, 2014 , p. 381–386.
↑ Kiviniemi, Kantola, Jauhiainen, Hyvärinen, Tervonen, 2003 , p. 253–260.

Literatură

Takuya Isomura, Taro Toyoizumi. O regulă de învățare locală pentru analiza componentelor independente // Rapoarte științifice. - 2016. - doi : 10.1038/srep28073 .
Aapo Hyvärinen, Juha Karhunen, Erkki Oja. Analiza independentă a componentelor. — 1-a. - New York: John Wiley & Sons, 2001. - ISBN 0-471-22131-7 .
Aapo Hyvärinen, Juha Karhunen, Erkki Oja. Analiza independentă a componentelor. — Retipărire. - New York, NY: Wiley, 2001. - ISBN 0-471-40540-X .
Aapo Hyvärinen, Erkki Oja. Analiza independentă a componentelor: algoritmi și aplicații // Rețele neuronale. - 2000. - T. 13 , nr. 4–5 . - doi : 10.1016/s0893-6080(00)00026-5 . — PMID 10946390 .
Johan Himbergand, Aapo Hyvärinen. Analiza independentă a componentelor pentru date binare: un studiu experimental // Proc. Int. Workshop on Independent Component Analysis and Blind Signal Separation (ICA2001) . - San Diego, California, 2001.
Aapo Härinen. Noi aproximări ale entropiei diferențiale pentru analiza componentelor independente și urmărirea proiecției. // Progrese în sistemele de procesare a informațiilor neuronale. - 1998. - T. 10 .
Huy Nguyen, Rong Zheng. Analiză de componente binare independente cu sau amestecuri // Tranzacții IEEE la procesarea semnalului. - 2011. - iulie ( vol. 59 , numărul 7 ).
Amichai Painsky, Saharon Rosset, Meir Feder. Analiza generalizată a componentelor binare independente // IEEE International Symposium on Information Theory (ISIT), 2014 . — 2014.
James V. Stone. Analiza independentă a componentelor: o introducere tutorială. - Cambridge, Massachusetts, Londra, Anglia: The MIT Press, 2004. - ISBN 0-262-69315-1 .

Kruskal JB Către o metodă practică care ajută la descoperirea structurii unui set de observații prin găsirea transformării liniilor care optimizează un nou „indice de condensare” // Calcul statistic / Milton RC, Nelder JA. - New York: Academic Press, 1969.
Pierre Common. Analiza independentă a componentelor: un concept nou? // procesare a semnalului. - 1994. - T. 36 , nr. 3 . — S. 287–314 . (Articol original care descrie conceptul de ICA)
Comon P., Jutten C. Handbook of Blind Source Separation, Independent Component Analysis and Applications. - Oxford UK: Academic Press, 2010. - ISBN 978-0-12-374726-6 .
Lee T.-W. Analiza componentelor independente: Teorie și aplicații. - Boston, Mass: Kluwer Academic Publishers, 1998. - ISBN 0-7923-8261-7 .
Ranjan Acharya. O nouă abordare pentru separarea sursă oarbă a surselor convolutive - Separarea pe bază de undă folosind funcția de contracție. - 2008. - ISBN 3-639-07797-0 . (cartea se concentrează pe învățarea nesupravegheată prin selecția oarbă a surselor)
Hérault J., Ans B. Réseau de neurones à synapses modifiables : Décodage de messages sensoriels composites par apprentissage non supervisé et permanent // Comptes Rendus de l'Académie des Sciences, Série III. - 1984. - T. 299 . — S. 525–528 .
Ans B., Herault J., Jutten C. Architectures neuromimétiques adaptatives: Detection de primitives. // Cognitiva 85, Paris 4-7 iunie 1985. - Paris, 1985. - T. 2.
Hérault J., Jutten C., Ans B. Détection de grandeurs primitives dans un message composite par une architecture de calcul neuromimétique en apprentissage non supervise // Proceedings of the 10th Workshop Treatment du signal et ses applications. - Nisa (Franţa): GRETSI, 1985. - Vol. 2.
Hérault J., Jutten C. Prelucrarea semnalului adaptiv la spațiu sau timp prin modele de rețele neuronale // Intern. Conf. privind rețelele neuronale pentru calcul. — Utah, SUA: Snowbird, 1986.
Sepp Hochreiter, Jürgen Schmidhuber. Extragerea caracteristicilor prin LOCOCODE // Calcul neuronal. - 1999. - T. 11 , nr. 3 . — ISSN 0899-7667 . - doi : 10.1162/089976699300016629 .
Brown GD, Yamada S., Sejnowski TJ Analiză independentă a componentelor la petrecerea neuronală // Trends in Neurosciences. - 2001. - T. 24 , nr. 1 . - doi : 10.1016/s0166-2236(00)01683-0 .
Lewicki MS Areview of methods for spike sorting: detectarea și clasificarea potențialelor de acțiune neuronală // Network: Computation in Neural Systems. - 1998. - T. 9 .
Analiza imaginilor Barlett MS Face prin învățare nesupravegheată. - Boston: Kluwer International Series on Engineering and Computer Science, 2001. - T. 612. - (SECS). - ISBN 978-1-4613-5653-0 .
Bell AJ, Sejnowski TJ Componentele independente ale scenelor naturale sunt filtre de margine // Vision Research. - 1997. - T. 37 , nr. 23 . - doi : 10.1016/s0042-6989(97)00121-1 . — PMID 9425547 .
Înapoi AD, Weigend AS O primă aplicare a analizei componentelor independente pentru extragerea structurii din randamentele stocurilor // Jurnalul Internațional de Sisteme Neurale. - 1997. - T. 8 , nr. 4 . - doi : 10.1142/s0129065797000458 . — PMID 9730022 .
Hyvarinen A., Karhunen J., Oja E. Independent component analysis / Symon Haykin. - New York: John Wiley and Sons, 2001. - (Adaptive and Learning System for Signal Processing, Communications, and Control). — ISBN 0-471-40540-X .
Polder G., van der Heijen FWAM Estimarea distribuției compusului în imaginile spectrale ale roșiilor folosind analiza componentelor independente // Austrian Computer Society. — 2003.
Delorme A., Sejnowski T., Makeig S. Detectarea îmbunătățită a artefactelor în datele EEG utilizând statistici de ordin superior și analiză independentă a componentelor // NeuroImage. - 2007. - T. 34 , nr. 4 . - doi : 10.1016/j.neuroimage.2006.11.004 . — PMID 17188898 .
Trapnell C., Cacchiarelli D., Grimsby J. Dinamica și regulatorii deciziilor de soartă celulară sunt relevate prin ordonarea pseudotemporală a celulelor individuale // Nature Biotechnology. - 2014. - T. 32 , nr. 4 . - doi : 10.1038/nbt.2859 . — PMID 24658644 .
Vesa J. Kiviniemi, Juha-Heikki Kantola, Jukka Jauhiainen, Aapo Hyvärinen, Osmo Tervonen. Analiza independentă a componentelor surselor de semnal fMRI nedeterministe // NeuroImage. - 2003. - T. 19 . - doi : 10.1016/S1053-8119(03)00097-1 . — PMID 12814576 .

Link -uri

Ce este analiza componentelor independente? (Aapo Hyvärinen)
Tutorial: Analiză independentă a componentelor (Aapo Hyvärinen)
Tutorial: Analiza independentă a componentelor
FastICA ca pachet pentru Matlab, în R și C++
Setul de instrumente ICALAB pentru Matlab dezvoltat la RIKEN
Instrumentele pentru analiza de semnal extrem de eficientă sunt furnizate de implementarea C++ a metodelor FastICA și Infomax
ICA Workbench — Banc de lucru Matlab pentru ICA cu Bell-Sejnowski, Molgedey-Schuster și ICA cu câmp mediu. Dezvoltat de DTU.
Demonstrație a problemei petrecerii zgomotoase Arhivat 13 martie 2010 la Wayback Machine
Instrumentul EEGLAB ICA EEG pentru Matlab dezvoltat la UCSD.
FMRLAB ICA Functional Magnetic Resonance Imaging Toolkit pentru Matlab dezvoltat la UCSD
MELODIC , parte a bibliotecii FMRIB .
Discuție despre ICA utilizată în contextul reprezentărilor biometrice ale obiectelor
Algoritmi FastICA, CuBICA, JADE și TDSEP pentru Python
Group ICA și Fusion ICA Workbench
Tutorial: Utilizarea ICA pentru a purifica semnalele encefalogramei

Învățare automată și extragerea datelor
Sarcini	Problema de clasificare Învățați fără profesor Învățare asistată de profesor Analiza regresiei AutoML Regulile de asociere Extragerea caracteristicilor Antrenamentul trăsăturilor Antrenament de clasare Derivarea gramaticală Învățare online
Învățarea cu un profesor	metoda k-cel mai apropiat vecin Clasificator naiv Bayes arborele de decizie Suport mașină vectorială Regresie liniara Regresie logistică perceptron Ansambluri de modele Bagare stimularea pădure la întâmplare Metoda vectorială relevantă
analiza grupului	metoda k-means Metoda de grupare fuzzy Gruparea ierarhică algoritmul EM MESTEACĂN VINDECA DBSCAN OPTICA Schimbarea medie
Reducerea dimensionalității	Analiza factorilor Metoda componentei principale CCA ICA LDA Expansiunea nenegativă a matricei t-SNE
Prognoza structurală	Modelul probabilistic grafic Rețeaua bayesiană Modelul Markov ascuns CRF
Detectarea anomaliilor	metoda k-cel mai apropiat vecin Nivelul de emisie local
Modele grafice probabilistice	Rețeaua bayesiană Rețeaua Markov Modelul Markov ascuns
Rețele neuronale	Mașină Boltzmann limitată hartă de auto-organizare Funcția de activare Sigmoid softmax Funcția de bază radială Metoda de propagare înapoi Invatare profunda Perceptron multistrat Rețea neuronală recurentă memorie pe termen lung și scurt Bloc recurent controlat Rețeaua neuronală convoluțională U-Net Autoencoder
Consolidarea învățării	procesul Markov Ecuația Bellman Algoritmul lacom Q-learning SARSA Diferența temporală (TD)
Teorie	Teoria Vapnik-Chervonenkis Dilema părtinire-dispersie Teoria învățării computaționale Minimizarea riscului empiric Occam învață Învățarea PAC Teoria învăţării statistice
Reviste și conferințe	NeurIPS ICML ML JMLR ArXiv:cs.LG