Expansiunea nenegativă a matricei

Descompunerea matricei nenegative ( NMP ), de asemenea, aproximarea matricei nenegative [1] [2] , este un grup de algoritmi de analiză multivariată și algebră liniară , în care matricea V este descompusă în (de obicei) două matrici W și H , cu proprietatea că toate cele trei matrice au intrări nenegative. Această non-negativitate face matricele rezultate mai ușor de studiat. În aplicații precum procesarea spectrogramelor audio sau datele privind activitatea musculară, non-negativitatea este inerentă datelor în cauză. Deoarece problema este în general de nerezolvată, de obicei este aproximată numeric.

RMN și-a găsit aplicație în domenii precum astronomia [3] [4] , viziunea computerizată , gruparea documentelor [1] , chimiometria , procesarea semnalului audio , sistemele de recomandare , [5] [6] și bioinformatica [7] .

Istorie

În chimiometrie , descompunerea matricei nenegative are o istorie lungă sub denumirea de „rezoluție curbă auto-similară” [8] În acest context, vectorii din matricea dreaptă sunt curbe continue, nu vectori discreti. Lucrările timpurii privind descompunerea matricei nenegative au fost făcute de un grup finlandez de cercetători la mijlocul anilor 1990 numită descompunere a matricei pozitive [9] [10] . Metoda a devenit mai cunoscută sub numele de descompunere a matricei nenegative , după ce Li și Seung au investigat proprietățile algoritmului și au publicat câțiva algoritmi simpli utili pentru două tipuri de descompunere [11] [12] .

Fundal

Fie matricea V produsul matricelor W și H ,

Înmulțirea matricei poate fi implementată prin calculul vectorului coloană al matricei V ca o combinație liniară de vectori coloană în W folosind coeficienții din coloanele matricei H . Adică, fiecare coloană a matricei V poate fi calculată după cum urmează:

unde v i este vectorul i-lea coloană al produsului matricei V și h i este vectorul i - lea coloană al matricei H.

La înmulțirea matricelor, dimensiunile factorilor matricei pot fi semnificativ mai mici decât dimensiunea produsului matricelor, iar aceasta este proprietatea care aduce baza sub NMP. RMN creează factori cu dimensiuni semnificativ reduse în comparație cu matricea originală. De exemplu, dacă V este o matrice m × n , W este o matrice m × p și H este o matrice p × n , atunci p poate fi substanțial mai mic decât m și n .

Iată un exemplu bazat pe o aplicație de analiză a textului:

• Fie matricea de intrare (matrice de descompunere) V cu 10000 de rânduri și 500 de coloane, unde cuvintele corespund rândurilor și documentele corespund coloanelor. Adică avem 500 de documente indexate cu 10.000 de cuvinte. Rezultă că vectorul coloană v în V reprezintă un document.
• Să presupunem că cerem algoritmului să găsească 10 caracteristici în ordinea generării unei matrice de caracteristici W cu 10.000 de rânduri și 10 coloane și o matrice de coeficienți H cu 10 rânduri și 500 de coloane.
• Produsul lui W și H este o matrice cu 10.000 de rânduri și 500 de coloane, de aceleași dimensiuni ca și matricea de intrare V și, dacă descompunerea funcționează, este o aproximare rezonabilă a matricei de intrare V .
• Din descrierea înmulțirii matricei de mai sus rezultă că fiecare coloană din produsul matriceal WH este o combinație liniară de 10 vectori coloană din matricea caracteristică W cu coeficienți derivați din matricea H .

Această ultimă proprietate este baza HMP, deoarece putem considera fiecare document original din exemplul nostru ca fiind construit dintr-un set mic de caracteristici latente. RMN creează aceste caracteristici.

Este util să ne gândim la fiecare caracteristică (vector coloană) din matricea de caracteristici W ca un prototip de document, inclusiv un set de cuvinte, în care fiecare celulă corespunzătoare unui cuvânt determină rangul cuvântului în caracteristică - cu atât valoarea este mai mare. în celula cuvântului, cu atât rangul cuvântului este mai mare în caracteristică . O coloană din matricea coeficienților H reprezintă documentul original cu valori ale celulelor care determină rangul documentului pentru caracteristică. Acum putem reconstrui documentul (vector coloană) din matricea noastră de intrare ca o combinație liniară a caracteristicilor noastre (vectori coloană din W ), unde fiecare caracteristică este luată cu o pondere dată de valoarea caracteristicii din vectorul coloană al matricei H .

Proprietatea de grupare

RMN are o proprietate intrinsecă de grupare [13] , i.e. grupează automat coloanele de date de intrare . Aceasta este proprietatea cerută de majoritatea aplicațiilor HMP.

Mai precis, aproximarea prin mijloace este realizată prin reducerea la minimum a funcției de eroare

in conditii

Mai mult, matricea calculată oferă un indicator al clusterelor, adică. dacă , acest fapt arată că intrarea aparține grupului k --lea. Matricea calculată oferă centrele clusterelor, adică. Coloana k -a definește centrul grupului k --lea. Această reprezentare a centrilor poate fi îmbunătățită semnificativ de HMP convex.

Dacă ortogonalitatea nu este specificată în mod explicit, ortogonalitatea este suficient de puternică și este valabilă și proprietatea de grupare. Clusteringul este obiectivul principal al majorității aplicațiilor HMP data mining .

Dacă distanța Kullback-Leibler este utilizată ca funcție de eroare , HMP este identică cu analiza semantică latentă probabilistică , o metodă populară de grupare a documentelor [14] .

Tipuri

Descompunerea matricei nenegative aproximative

De obicei, numărul de coloane ale matricei W și numărul de rânduri ale matricei H din HMP sunt alese astfel încât produsul WH să devină o aproximare la V . Descompunerea completă a matricei V constă apoi din două matrice nenegative W și H , precum și o matrice reziduală U astfel încât V = WH + U . Elementele matricei reziduale pot fi atât pozitive, cât și negative.

Dacă W și H sunt mai mici decât V , sunt mai ușor de reținut și mai ușor de lucrat. Un alt motiv pentru descompunerea V în matrici mai mici W și H este că, dacă putem reprezenta aproximativ elementele lui V printr-o cantitate semnificativ mai mică de date, atunci putem deduce o structură implicită a datelor.

Descompunerea matricei convexe nenegative

În HMP standard, multiplicatorul ，i.e. matricea W poate fi oricare în acest spațiu. HMP convex [15] restricționează coloanele matricei W la combinații convexe ale vectorilor de intrare . Acest lucru îmbunătățește semnificativ calitatea reprezentării datelor din matricea W. În plus, factorul H devine mai rar și mai ortogonal.

Descompunerea rangului nenegativ

În cazul în care rangul nenegativ matricei V este egal cu rangul obișnuit, V = WH se numește factorizare de rang nenegativ (NRF) [ 16] [17] [18] . Se știe că problema găsirii unei matrice NPP V , dacă aceasta există, este NP-hard [19] .  

Diverse funcții de cost și regularizare

Există diferite tipuri de descompunere a matricei nenegative. Diferite puncte de vedere apar din utilizarea diferitelor funcții de cost pentru a măsura discrepanța dintre V și WH și posibila regularizare a matricei W și/sau a matricei H [1] .

Două funcții de discrepanță simple pe care Lee și Seung le-au studiat au fost abaterea standard (sau norma Frobenius ) și extinderea conceptului de distanță Kullback-Leibler la matrici pozitive ( distanța Kullback-Leibler a fost definită inițial pentru distribuțiile de probabilitate). Fiecare funcție de discrepanță duce la propriul algoritm HMP, care de obicei minimizează discrepanța folosind reguli de actualizare iterativă.

Problema de descompunere în versiunea funcției de eroare pătrată pentru HMP poate fi formulată după cum urmează: Având în vedere matricea , trebuie să găsiți matrici nenegative W și H care minimizează funcția

Un alt tip de RMN pentru imagini se bazează pe norma determinată de variația totală [20] .

Dacă la HMP se adaugă regularizarea L1 (similar cu Lasso , English  Least Absolute Shrinkage and Selection Operator ) cu o funcție obiectiv egală cu pătratul mediu al erorii, problema rezultată poate fi numită codare rară nenegativă datorită asemănarea cu problema de codificare rară [21] [22] , deși poate fi denumită și HMP [23] .

RMN online

Mulți algoritmi standard HMP analizează toate datele împreună. Acestea. întreaga matrice este disponibilă de la început. Acest lucru poate fi inacceptabil pentru aplicațiile în care datele ocupă prea multă memorie pentru a le încadra pe toate în același timp sau în care datele vin sub formă de flux . Această situație este tipică pentru filtrarea colaborativă în sistemele de recomandare , unde pot fi mulți utilizatori și multe obiecte de recomandat și ar fi ineficient să recalculăm totul atunci când un utilizator sau un obiect este adăugat la sistem. Funcția obiectivă pentru optimizare în aceste cazuri poate fi sau nu aceeași ca în HMP standard, dar algoritmii trebuie să fie diferiți [24] [25] [26] .

Algoritmi

Există mai multe moduri în care pot fi găsite W și H. Regula de actualizare multiplicativă Lee și Seung [12] a fost populară datorită ușurinței sale de implementare.

Algoritm:

Inițializare: W și H nu sunt negative. Actualizați valorile în W și H evaluând (aici , indicele de iterație) și Până se stabilizează W și H.

Rețineți că actualizarea se realizează element cu element, nu prin înmulțirea matricei.

Recent, a fost dezvoltat un alt algoritm. Unele abordări se bazează pe metoda celor mai mici pătrate intercalate cu ponderi nenegative (OINS) - la fiecare pas al unui astfel de algoritm, mai întâi H este fix și W este căutat folosind OIE, apoi W este fix și acum H se găsește în același mod. Procedurile utilizate pentru găsirea W și H pot fi aceleași [27] sau diferite, deoarece unele variante ale HMP regularizează una dintre matricele W sau H [21] . Unele abordări includ metode de coborâre a gradientului proiectat [27] [28] , metode de constrângere activă [5] [29] , metoda gradientului optim [30] și metoda pivotului principal bloc [31] [32] , printre altele .

Algoritmii care există în prezent sunt suboptimi, deoarece garantează găsirea doar a minimului local, și nu global, al funcției obiectiv. Este puțin probabil ca algoritmi optimi dovediți să apară în viitorul apropiat, deoarece s-a demonstrat că problema generalizează metoda k-means, despre care se știe că este NP-complet [13] . Cu toate acestea, ca și în multe alte probleme de analiză a datelor, cunoașterea minimului local este, de asemenea, utilă.

Serial RMN

Construcția secvențială a componentelor HMR ( W și H ) a fost utilizată inițial pentru a lega HMR la metoda componentelor principale (PCA) în astronomie [33] . Contribuțiile componentelor PCA sunt ordonate după mărimea valorilor proprii respective. Pentru un NMP, componentele sale pot fi clasate empiric dacă sunt construite una după alta (succesiv), adică. construim componenta -a cu primele componente deja construite.

Contribuțiile componentelor RMN succesive pot fi comparate utilizând teorema Karhunen-Loeve folosind un grafic cu valori proprii. Alegerea tipică a numărului de componente din PCA se bazează pe punctul „genunchi”, atunci existența unei regiuni plane indică faptul că PCA nu consumă datele în mod eficient, iar dacă există o scădere neașteptată, aceasta indică zgomot aleatoriu și intrarea într-un regim de supraadaptare [34] [35] . Pentru RMN secvenţial, graficul cu valori proprii este aproximat de graficul variaţiei reziduale relative, unde curba scade continuu şi converge la o valoare mai mare decât PCA [4] , indicând o supraadaptare mai mică a RMN serială.

RMN precis

Soluțiile exacte pentru variantele HMP pot fi verificate (în timp polinomial) dacă sunt îndeplinite constrângeri suplimentare pe matricea V. Un algoritm în timp polinomial pentru rezolvarea unei descompunere de rang nenegativ atunci când matricea V conține o submatrice monomială cu rang egal cu rangul matricei a fost dat de Campbell și Poole în 1981 [36] . Kalofoljas și Gallopoulus (2012) [37] au rezolvat un analog simetric al acestei probleme, unde V este simetric și conține o submatrice principală diagonală de rang r. Algoritmul lor rulează în timp în cazul dens. Arora și un grup de cercetători au propus un algoritm în timp polinomial pentru HMP exact care funcționează atunci când unul dintre factorii W satisface condiția de separabilitate [38] .

Relația cu alte tehnici

În lucrarea Exploring Parts of Objects by Non-Negative Matrix Descompositions, Li și Seung [39] au propus RMN în principal pentru descompunerea imaginilor bazate pe părți. Articolul compară HMP cu cuantizarea vectorială și analiza componentelor principale și arată că, deși aceste trei tehnici pot fi scrise ca descompunere, ele preiau constrângeri diferite și, prin urmare, dau rezultate diferite.

Mai târziu s-a demonstrat că unele tipuri de RMN sunt exemple ale unui model probabilistic mai general numit „PCA multinomial” [40] . Dacă RMN-ul este obținut prin minimizarea distanței Kullback-Leibler , aceasta este, de fapt, echivalentă cu o altă instanță de PCA multinomială, analiză semantică latentă probabilistică [41] reglată cu estimarea de maximă probabilitate . Această metodă este folosită în mod obișnuit pentru analizarea și gruparea datelor textuale și este, de asemenea, asociată cu modelul de clasă latentă .

HMR cu o funcție obiectivă a metodei celor mai mici pătrate este echivalentă cu o formă slăbită a metodei k-medii - factorul matriceal W conține centroizii clusterului, iar H conține indicatorii de apartenență a clusterului [13] [42] . Aceasta oferă o justificare teoretică pentru utilizarea HMP pentru gruparea datelor. Cu toate acestea, k-means nu oferă non-negativitate pe centroizi, așa că cea mai apropiată analogie este, de fapt, „semi-HMP” [15] .

RMN poate fi privit ca un model grafic orientat pe două niveluri , cu un nivel de variabile aleatoare observate și un nivel de variabile aleatoare ascunse [43] .

RMN poate fi extins de la matrice la tensori de ordin arbitrar [44] [45] [46] . Această extensie poate fi considerată ca un analog nenegativ al, de exemplu, modelul PARAFAC .

Alte extensii ale HMP includ descompunerea în comun a mai multor matrici și tensori, unde unii dintre factori sunt aceiași. Astfel de modele sunt utile pentru împerecherea senzorilor și învățarea conexiunii [47] .

NMP este o instanță de programare pătratică non-negativă (NQP), la fel ca mașina vectorului suport (SVM). Cu toate acestea, SVM și RMN sunt mai strâns legate decât doar prin NCL, ceea ce permite aplicarea directă a algoritmilor dezvoltați pentru rezolvarea oricăreia dintre cele două metode la probleme din ambele domenii [48] .

Unicitate

Descompunerea nu este unică - o matrice și inversul ei pot fi utilizate pentru a transforma două matrici de descompunere prin, de exemplu, [49] ,

Dacă două matrice noi și sunt nenegative , ele formează o altă parametrizare de descompunere.

Urmează non - negativitatea dacă cel puțin B este o matrice monomială nenegativă . În acest caz simplu, aceasta corespunde doar cu scalarea și rearanjarea .

Control suplimentar asupra ambiguității HMP este dobândit prin limitarea completității matricelor [50] .

Aplicații

Astronomie

În astronomie, RMN este o tehnică promițătoare pentru reducerea dimensionalității, în sensul că semnalele astrofizice sunt nenegative. RMN este utilizat pentru observații spectroscopice [3] și observații directe [4] ca metodă de studiere a proprietăților generale ale unui obiect astronomic și post-procesare a observațiilor astronomice. Progresul în observațiile spectroscopice de către cercetătorii Blanton și Rose (2007) [3] este asociat cu luarea în considerare a incertitudinii observațiilor astronomice, care a fost ulterior îmbunătățită de Zoo (2016) [33] , care a luat în considerare și lipsa datelor și a folosit paralel . de calcul . Metodele lor au fost apoi adaptate de Ren et al.(2018) [4] pentru câmpul vizual direct ca una dintre metodele de detectare a exoplanetelor , în special pentru observarea directă a discurilor circumstelare .

Ren și colab.(2018) [4] au reușit să arate stabilitatea componentelor RMN atunci când sunt construite secvențial (adică unul după altul), ceea ce asigură liniaritatea procesului de modelare RMN. Proprietatea de liniaritate a fost folosită pentru a separa lumina stelară de lumina împrăștiată de exoplanete și discurile circumstelare .

În observația directă, au fost adaptate diferite metode statistice pentru a distinge exoplanetele slabe și discurile circumstelare de lumina strălucitoare din jur, care are un contrast tipic de 10⁵ până la 10¹⁰, [51] [52] [34] , dar separarea luminii de exoplanete. sau discurile circumstelare suferă de obicei.suprafitting, astfel încât modelarea ulterioară trebuie aplicată pentru a detecta fluxul adevărat [53] [35] . Simulările sunt în prezent optimizate pentru surse punctuale [35] dar nu pentru structuri cu forme neregulate, cum ar fi discurile circumstelare. În această situație, RMN este o metodă excelentă care suferă mai puțin de supraadaptare în sensul non-negativității și rarii coeficienților de simulare RMN, astfel încât simularea poate fi efectuată cu mai mulți factori de scalare [4] în loc de reprocesarea de date intensivă din punct de vedere computațional pe modele obţinute.

Exploatarea textului

HMP poate fi folosit pentru extragerea textului . Acest proces construiește o matrice termen-document cu ponderi ale diferitelor obiecte (de obicei informații ponderate despre frecvența de apariție a cuvintelor) dintr-un set de documente. Matricea este descompusă în matrice obiect-atribut și atribut-document . Caracteristicile sunt derivate din contextul documentului, iar matricea caracteristică-document descrie grupuri de date ale documentelor conexe.

O aplicație folosește HMP ierarhic pe un subset mic de abstracții științifice din PubMed [54] . Un alt grup de cercetători a grupat setul de e-mail al lui Enron [55] (65033 mesaje și 91133 obiecte) în 50 de grupuri [56] . HMP se aplică, de asemenea, datelor de citare, cu un exemplu de grupare a articolelor Wikipedia în limba engleză și a revistelor științifice bazate pe citările științifice din Wikipedia în engleză [57] .

Arora și colab. au propus algoritmi de timp polinomial pentru învățarea modelelor de subiecte folosind HMP. Algoritmul presupune că matricea topică satisface condiția de separabilitate, ceea ce este adesea cazul în astfel de condiții [38] .

Analiza datelor spectrale

RMN este, de asemenea, utilizat în analiza datelor spectrale. O astfel de aplicație este clasificarea obiectelor interplanetare și a resturilor [58] .

Predicție scalabilă a distanței de rețea

HMP este utilizat în predicția de distanță a rețelei scalabile pe Internet (timp de călătorie dus-întors). Pentru o rețea cu gazde care utilizează HMP, distanțele tuturor conexiunilor de la un punct la altul pot fi prezise numai după măsurători. Acest tip de metodă a fost propus pentru prima dată în Internet Distance Estimation Service (IDES) [59] . Ulterior, ca abordare complet descentralizată, a fost propus sistemul de coordonate al rețelei Phoenix [ 60] . Ea a obținut o mai bună predictibilitate prin introducerea conceptului de greutate.   

Eliminarea zgomotului non-staționar dintr-o conversație

Eliminarea zgomotului dintr-o conversație a fost o problemă de lungă durată în procesarea semnalului audio . Există un număr mare de algoritmi de eliminare a zgomotului dacă zgomotul este staționar. De exemplu, filtrul Wiener este potrivit pentru zgomotul Gaussian aditiv . Cu toate acestea, dacă zgomotul este non-staționar, algoritmii clasici de eliminare a zgomotului au de obicei performanțe slabe, deoarece informațiile statistice despre zgomotul non-staționar sunt dificil de evaluat. Schmidt și colaboratorii [61] au folosit RMN pentru a elimina zgomotul non-staționar în conversație, care este complet diferit de abordările statistice clasice. Ideea cheie este că un semnal pur poate fi reprezentat printr-un vocabular de conversație, dar zgomotul non-staționar nu poate fi reprezentat. În mod similar, zgomotul non-staționar poate fi reprezentat de un dicționar de zgomot, dar conversația nu poate.

Algoritmul pentru eliminarea zgomotului folosind HMP funcționează după cum urmează. Este necesar să antrenați două dicționare offline, unul pentru conversație, celălalt pentru zgomot. De îndată ce este servită o conversație cu zgomot, mai întâi calculăm valoarea transformării Fourier în fereastră . Apoi îl împărțim în două părți folosind HMP, o parte poate fi reprezentată de un dicționar de conversație, iar cealaltă parte poate fi reprezentată de un dicționar de zgomot. În al treilea pas, partea reprezentată de dicționarul de conversație este evaluată ca conversație pură.

Bioinformatica

RMN a fost aplicat cu succes în bioinformatică pentru gruparea expresiei genelor și a datelor de metilare a ADN-ului și pentru căutarea genelor care reprezintă cele mai multe grupuri [22] [62] [63] [64] . În analiza mutațiilor canceroase, aceasta este utilizată pentru a evidenția mecanismele comune de mutație care apar în multe tipuri de cancer și care, eventual, au cauze diferite [65] .

Imagistica cu radionuclizi

RMN, denumită în acest domeniu analiză factorială, a fost utilizată aici încă din anii 1980 [66] pentru analiza secvenței de imagini în SPECT și PET . Ambiguitatea RMN a fost rezolvată prin impunerea unei constrângeri de sparsity [67] .

Cercetări curente

Cercetările actuale (din 2010) privind descompunerea matricei nenegative includ, dar nu se limitează la următoarele întrebări

1. Întrebări algoritmice: căutarea minimului global de factori și inițializarea factorului [68] .
2. Probleme de scalare: cum să descompuneți matricele de milioane cu miliarde care apar la analiza datelor în rețele. Consultați articolele „Factorizarea cu matrice non-negativă distribuită (DNMF)” [69] și „Factorizarea cu matrice non-negativă scalabilă (ScalableNMF)” [70] .
3. Procesare online: cum se actualizează descompunerea atunci când apar date noi, fără a face un calcul complet de la zero [71] .
4. Co-Descompunere: Descompunerea mai multor matrici intrinsec legate pentru gruparea cu mai multe poziții, a se vedea CoNMF [72] și MultiNMF [73] .
5. Problema lui Cohen și Rothblum din 1993: O matrice rațională are întotdeauna un NMP de dimensiune intrinsecă minimă ai cărui factori sunt și raționali. Recent, la această întrebare s-a răspuns negativ [74] .

Vezi și

• Algebră multiliniară
• Învățare subspațială multiliniară
• Tensor

Note

1. ↑ 1 2 3 Dhillon, Sra, 2005 .
2. ↑ Tandon, Sra, 2010 .
3. ↑ 1 2 3 Blanton, Roweis, 2007 , p. 734-754.
4. ↑ 1 2 3 4 5 6 7 Ren, Pueyo, Zhu, Duchêne, 2018 , p. 104.
5. ↑ 1 2 Gemulla, Nijkamp, ​​​​Haas, Sismanis, 2011 , p. 69–77.
6. ↑ Bao, 2014 .
7. ↑ Murrell, 2011 , p. e28898.
8. ↑ Lawton, Sylvestre, 1971 , p. 617+.
9. ↑ Paatero și Tapper 1994 , p. 111–126.
10. ↑ Anttila, Paatero, Tapper, Järvinen, 1995 , p. 1705-1718.
11. ↑ 1 2 Lee, Seung, 1999 , p. 788-791.
12. ↑ 1 2 Lee, Seung, 2001 , p. 556-562.
13. ↑ 1 2 3 Ding, He, Simon, 2005 , p. 606-610.
14. ↑ Ding, Li, Peng, 2008 , p. 3913-3927.
15. ↑ 1 2 Ding, Li, Iordania, 2010 , p. 45-55.
16. ↑ Berman, Plemmons, 1974 , p. 161–172.
17. ↑ Berman, Plemmons, 1994 .
18. ↑ Thomas, 1974 , p. 393–394.
19. ↑ Vavasis, 2009 , p. 1364–1377.
20. ↑ Zhang, Fang, Liu, Tang et al., 2008 , p. 1824–183
21. ↑ 12 Hoyer , 2002 .
22. ↑ 1 2 Taslaman, Nilsson, 2012 , p. e46331.
23. ↑ Hsieh, Dhillon, 2011 , p. 1064.
24. ↑ Copie arhivată . Consultat la 16 octombrie 2018. Arhivat din original la 24 septembrie 2015. (nedefinit)
25. ↑ Fung, Li, Cheung, 2007 , p. 284–287.
26. ↑ Guan, Tao, Luo, Yuan, 2012 , p. 1087–1099.
27. ↑ 12 Lin , 2007 , p. 2756–2779.
28. ↑ Lin, 2007 , p. 1589–1596
29. ↑ Kim, Park, 2008 , p. 713-730.
30. ↑ Guan, Tao, Luo, Yuan, 2012 , p. 2882–2898.
31. ↑ Kim, Park, 2011 , p. 3261-3281.
32. ↑ Kim, He, Park, 2013 , p. 285-319.
33. ↑ 1 2 Zhu, Guangtun B. (2016-12-19), Nonnegative Matrix Factorization (NMF) with Heteroscedastic Uncertainties and Missing data, arΧiv : 1612.06037 [astro-ph.IM]. 
34. ↑ 1 2 Soummer, Pueyo, Larkin, 2012 , p. L28.
35. ↑ 1 2 3 Pueyo, 2016 , p. 117.
36. ↑ Campbell, Poole, 1981 , p. 175–182.
37. ↑ Kalofolias, Gallopoulos, 2012 , p. 421–435.
38. ↑ 1 2 Arora, Ge, Halpern, Mimno et al., 2013 .
39. ↑ Lee, Seung, 1999 , p. 788–791.
40. ↑ Buntine, 2002 , p. 23–34.
41. ↑ Gaussier și Goutte 2005 , p. 601–602.
42. ↑ Zass, Shashua, 2005 .
43. ↑ Welling, Rosen-zvi, Hinton, 2004 .
44. ↑ Paatero, 1999 , p. 854-888.
45. ↑ Welling, Weber, 2001 , p. 1255-1261.
46. ↑ Kim, Park, 2012 , p. 311-326.
47. ↑ Yilmaz, Cemgil, Simsekli, 2011 .
48. ↑ Potluru, Plis, Morup, Calhoun, Lane, 2009 , p. 1218–1229.
49. ↑ Xu, Liu, Gong, 2003 , p. 267-273.
50. ↑ Eggert, Körner, 2004 , p. 2529-2533.
51. ↑ Lafrenière, Maroid, Doyon, Barman, 2009 .
52. ↑ Amara, Quanz, 2012 , p. 948.
53. ↑ Wahhaj, Cieza, Mawet, Yang et al., 2015 , p. A24.
54. ↑ Nielsen, Balslev, Hansen, 2005 , p. 520–522.
55. ↑ Cohen, 2005 .
56. ↑ Berry și Browne, 2005 , p. 249-264.
57. ↑ Nielsen, 2008 .
58. ↑ Berry, Browne, Langville, Pauca, Plemmons, 2007 , p. 155-173.
59. ↑ Mao, Saul, Smith, 2006 , p. 2273-2284.
60. ↑ Chen, Wang, Shi, 2011 , p. 334–347.
61. ↑ Schmidt, Larsen, Hsiao, 2007 , p. 431–436.
62. ↑ Devarajan, 2008 , p. e1000029.
63. ↑ Kim, Park, 2007 , p. 1495-1502.
64. ↑ Schwalbe, 2013 , p. 359-371.
65. ↑ Alexandrov, Nik-Zainal, Wedge, Campbell, Stratton, 2013 , p. 246–259.
66. ↑ Di Paola, Bazin, Aubry, Aurengo et al., 1982 , p. 1310–21.
67. ↑ Sitek, Gullberg, Huesman, 2002 , p. 216–25.
68. ↑ Boutsidis, Gallopoulos, 2008 , p. 1350–1362
69. ↑ Liu, Yang, Fan, He, Wang, 2010 .
70. ^ Yin, Gao, Zhang, 2014 .
71. ↑ Wang, Vipperla, Evans, Zheng, 2013 , p. 44–56.
72. ↑ He, Kan, Xie, Chen, 2014 .
73. ↑ Liu, Wang, Gao, Han, 2013 , p. 252–260.
74. ↑ Chistikov, Dmitri; Kiefer, Stefan; Marusic, Ines; Shirmohammadi, Mahsa & Worrell, James (2016-05-22), Nonnegative Matrix Factorization Requires Irrationality, arΧiv : 1605.06848 [cs.CC]. 

Literatură

• Max Welling, Michal Rosen-zvi, Geoffrey E. Hinton. Armonii familiale exponențiale cu o aplicație la regăsirea informațiilor // Progrese în sistemele de procesare a informațiilor neuronale (NIPS). . — 2004.
• Julian Eggert, Edgar Korner. Codare rară și NMF // Proceedings. 2004 IEEE International Joint Conference on Neural Networks . — 2004.
• Schmidt MN, Larsen J., Hsiao FT Reducerea zgomotului vântului utilizând codificare rară non-negativă // Machine Learning for Signal Processing, IEEE Workshop. — 2007.
• Ron Zass, Amnon Shashua . A Unifying Approach to Hard and Probabilistic Clustering // Conferința internațională privind viziunea pe computer (ICCV) . — Beijing, China, 2005.
• Ding C., Li T., Jordan MI Factorizări de matrice convexe și semi-nenegative // ​​IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2010.
• Pentti Paatero. Motorul multiliniar: un program bazat pe tabele, cu cele mai mici pătrate pentru rezolvarea problemelor multiliniare, inclusiv modelul de analiză a factorilor paraleli n-Way // Journal of Computational and Graphical Statistics . - 1999. - T. 8 , nr. 4 . — S. 854–888 . - doi : 10.2307/1390831 . — .
• Max Welling, Markus Weber. Factorizare pozitivă a tensorilor // Litere de recunoaștere a modelelor . - 2001. - T. 22 , nr. 12 . - doi : 10.1016/S0167-8655(01)00070-8 .
• Jingu Kim, Parcul Haesun. Factorizare rapidă a tensorilor nenegativi cu o metodă de tip set activ // Calcul științific de înaltă performanță: algoritmi și aplicații . - Springer, 2012. - S. 311-326.
• Kenan Yilmaz, A. Taylan Cemgil, Umut Simsekli. Factorizarea tensorială cuplată generalizată // Progrese în sistemele de procesare a informațiilor neuronale (NIPS). . — 2011.
• Vamsi K. Potluru, Sergey M. Plis, Morten Morup, Vince D. Calhoun, Terran Lane. Actualizări eficiente de multiplicare pentru mașini de suport Vector // Proceedings of the 2009 SIAM Conference on Data Mining (SDM). - 2009. - S. 1218-1229.
• Wei Xu, Xin Liu, Yihong Gong. Gruparea documentelor bazată pe factorizarea matriceală nenegativă // Proceedings of the 26th annual international ACM SIGIR Conference on Research and development in information retriever . — New York: Association for Computing Machinery , 2003.
• Rashish Tandon, Suvrit Sra. Aproximarea matriceală nenegativă rară: noi formulări și algoritmi . - 2010. - (Raport tehnic).
• Rainer Gemulla, Erik Nijkamp, ​​Peter J Haas, Yannis Sismanis. Factorizare matriceală la scară largă cu coborâre a gradientului stocastic distribuit // Proc. ACM SIGKDD Conf. Internațională pe Descoperirea cunoștințelor și extragerea datelor . - 2011. - S. 69-77.  (link indisponibil)
• Yang Bao. TopicMF: Exploatarea simultană a evaluărilor și recenziilor pentru recomandare // Asociația Americană pentru Inteligență Artificială . — 2014.
• Ben Murrell. Factorizarea matricei nenegative pentru învățarea modelelor specifice de aliniere ale evoluției proteinelor // PLoS ONE. - 2011. - T. 6 , nr. 12 . - doi : 10.1371/journal.pone.0028898 . — PMID 22216138 .
• Ding C., Li T., Peng W. Despre echivalența dintre factorizarea matriceală nenegativă și indexarea semantică latentă probabilistică  // Computational Statistics & Data Analysis. - 2008. - Emisiune. 52 . Arhivat din original pe 4 martie 2016.
• William H. Lawton, Edward A. Sylvestre. Rezoluția curbei de automodelare // Tehnometrie . - 1971. - T. 13 , nr. 3 . - doi : 10.2307/1267173 . — .
• Paatero P., Tapper U. Factorizarea matricei pozitive: Un model de factori nenegativi cu utilizarea optimă a estimărilor de eroare ale valorilor datelor // Environmetrics . - 1994. - V. 5 , nr. 2 . - doi : 10.1002/env.3170050203 .
• Pia Anttila, Pentti Paatero, Unto Tapper, Olli Järvinen. Identificarea sursei depunerilor umede în vrac în Finlanda prin factorizare matrice pozitivă // Mediul atmosferic . - 1995. - T. 29 , nr. 14 . - doi : 10.1016/1352-2310(94)00367-T . - Cod .
• Daniel D. Lee, H. Sebastian Seung. Învățarea părților obiectelor prin factorizare matriceală nenegativă // Natura . - 1999. - T. 401 , nr. 6755 . - doi : 10.1038/44565 . — . — PMID 10548103 .
• Daniel D. Lee, H. Sebastian Seung. Algoritmi pentru factorizarea matricei nenegative // ​​Progrese în sistemele de procesare a informațiilor neuronale 13: Proceedings of the 2000 Conference . — MIT Press , 2001.
• Zhang T., Fang B., Liu W., Tang YY, He G., Wen J. Factorizarea matricei nenegative bazată pe norme de variație totală pentru identificarea reprezentării discriminante a modelelor de imagine // Neurocomputing . - 2008. - T. 71 , nr. 10–12 . - doi : 10.1016/j.neucom.2008.01.022 .
• Berman A., Plemmons RJ Inverses of nonnegative matrices // Linear and Multilinear Algebra. - 1974. - Vol. 2 , numărul. 2 . — S. 161–172 . - doi : 10.1080/03081087408817055 .
• Berman A., Plemmons RJ Matrici nonnegative în științe matematice. — Philadelphia: SIAM, 1994.
• Thomas LB Problema 73-14, Factorizarea rangului matricelor nenegative // ​​SIAM Rev .. - 1974. - V. 16 , nr. 3 . - doi : 10.1137/1016064 .
• Vavasis SA Despre complexitatea factorizării matricei nenegative // ​​SIAM J. Optim.. - 2009. - Vol. 20 , nr. 3 . - doi : 10.1137/070709967 . - arXiv : 0708.4149 .
• Inderjit S. Dhillon, Suvrit Sra. Aproximații generalizate de matrice nenegativă cu divergențe Bregman //NIPS . — 2005.
• Campbell SL, Poole GD Computing factorizations nonnegative rank // Linear Algebra Appl .. - 1981. - T. 35 . - doi : 10.1016/0024-3795(81)90272-x .
• Kalofolias V., Gallopoulos E. Computing simetric nenegative rank factorizations  // Linear Algebra Appl. - 2012. - T. 436 , nr. 2 . - doi : 10.1016/j.laa.2011.03.016 .
• Sanjeev Arora, Rong Ge, Yoni Halpern, David Mimno, Ankur Moitra, David Sontag, Yichen Wu, Michael Zhu. Un algoritm practic pentru modelarea subiectelor cu garanții demonstrabile // Proceedings of the 30th International Conference on Machine Learning . — 2013.
• Daniel D Lee, H Sebastian Seung. Învățarea părților obiectelor prin factorizare matriceală nenegativă  // Natura . - 1999. - T. 401 , nr. 6755 . - doi : 10.1038/44565 . — . — PMID 10548103 .
• Wray Buntine. Extensii variaționale la EM și PCA multinomial // Proc. Conferința europeană privind învățarea automată (ECML-02) . - 2002. - T. 2430. - (LNAI).
• Eric Gaussier, Cyril Goutte. Relația dintre PLSA și NMF și Implicații // Proc. A 28-a conferință internațională ACM SIGIR privind Cercetarea și dezvoltarea în recuperarea informațiilor (SIGIR-05) . - 2005. Arhivat 28 septembrie 2007 la Wayback Machine
• Patrik O Hoyer. Codare rară nenegativă // Proc. Atelier IEEE privind rețelele neuronale pentru procesarea semnalului . — 2002.
• Leo Taslaman, Björn Nilsson. Un cadru pentru factorizarea matriceală nenegativă regularizată, cu aplicare la analiza datelor despre expresia genelor // PLoS One . - 2012. - Vol. 7 , nr. 11 . - S. e46331 . - doi : 10.1371/journal.pone.0046331 . - Cod biblic . — PMID 23133590 .
• Hsieh CJ, Dhillon IS Metode rapide de coborare a coordonatelor cu selecție variabilă pentru factorizarea matriceală nenegativă // Proceedings of the 17th ACM SIGKDD international Conference on Knowledge discovery and data mining - KDD '11 . - 2011. - ISBN 9781450308137 . - doi : 10.1145/2020408.2020577 .
• Yik-Hing Fung, Chun-Hung Li, William K. Cheung. Predicția participării la discuții online folosind factorizarea matriceală nenegativă . - IEEE Computer Society, 2007. - Noiembrie.
• Naiyang Guan, Dacheng Tao, Zhigang Luo, Bo Yuan. Factorizarea cu matrice nenegativă online cu o aproximare stocastică robustă // Tranzacții IEEE pe rețele neuronale și sisteme de învățare. - 2012. - iulie ( vol. 23 , numărul 7 ). - doi : 10.1109/TNNL.2012.2197827 . — PMID 24807135 .
• Chih Jen Lin. Metode de gradient proiectat pentru factorizarea matricei nenegative  // ​​Calcul neuronal . - 2007. - T. 19 , nr. 10 . — S. 2756–2779 . - doi : 10.1162/neco.2007.19.10.2756 . — PMID 17716011 .
• Chih Jen Lin. Despre convergența algoritmilor de actualizare multiplicativă pentru factorizarea cu matrice nenegativă // Tranzacții IEEE pe rețele neuronale. - 2007. - T. 18 , nr. 6 . - doi : 10.1109/TNN.2007.895831 .
• Hyunsoo Kim, Haesun Park. Factorizarea matricei nenegative pe baza celor mai mici pătrate constrânse de nenegativitate alternativă și pe metoda seturilor active  // ​​Jurnal SIAM privind analiza și aplicațiile matricelor . - 2008. - T. 30 , nr. 2 . — S. 713–730 . - doi : 10.1137/07069239x .
• Naiyang Guan, Dacheng Tao, Zhigang Luo, Bo Yuan. NeNMF: O metodă de gradient optim pentru factorizarea matricei nenegative // ​​Tranzacții IEEE privind procesarea semnalului. - 2012. - iunie ( vol. 60 , numărul 6 ). — S. 2882–2898 . - doi : 10.1109/TSP.2012.2190406 . - Cod biblic .
• Jingu Kim, Parcul Haesun. Factorizarea rapidă a matricei nenegative: o metodă și comparații asemănătoare unui set activ  // SIAM Journal on Scientific Computing . - 2011. - T. 58 , nr. 6 . - doi : 10.1137/110821172 .  (link indisponibil)
• Jingu Kim, Yunlong He, Parcul Haesun. Algoritmi pentru factorizări de matrice și tensori nenegative: O vedere unificată bazată pe cadrul de coborâre a coordonatelor blocului  // Journal of Global Optimization . - 2013. - T. 33 , nr. 2 . — S. 285–319 . - doi : 10.1007/s10898-013-0035-4 .
• Ding C., He X., Simon HD Despre echivalența factorizării matricei nenegative și a grupării spectrale // Proc. SIAM Int'l Conf. extragerea datelor . - 2005. - V. 4. - ISBN 978-0-89871-593-4 . - doi : 10.1137/1.9781611972757.70 .
• Michael R. Blanton, Sam Roweis. Corecții K și transformări ale filtrului în ultraviolete, optice și infraroșu apropiat // The Astronomical Journal. - 2007. - T. 133 , nr. 2 . - doi : 10.1086/510127 . - Cod biblic . - arXiv : astro-ph/0606170 .
• Bin Ren, Laurent Pueyo, Guangtun B. Zhu, Gaspard Duchêne. Factorizarea matricei nenegative: Extracția robustă a structurilor extinse // The Astrophysical Journal. - 2018. - T. 852 , nr. 2 . - S. 104 . - doi : 10.3847/1538-4357/aaa1f2 . - Cod biblic . - arXiv : 1712.10317 .
• David Lafrenière, Christian Maroid, René Doyon, Travis Barman. HST/NICMOS Detectarea HR 8799 b în 1998 // The Astrophysical Journal Letters. - 2009. - T. 694 , nr. 2 . - S. L148 . - doi : 10.1088/0004-637X/694/2/L148 . - Cod biblic . - arXiv : 0902.3247 .
• Adam Amara, Sascha P. Quanz. PYNPOINT: un pachet de procesare a imaginilor pentru găsirea de exoplanete // Anunțuri lunare ale Societății Regale de Astronomie. - 2012. - T. 427 , nr. 2 . - doi : 10.1111/j.1365-2966.2012.21918.x . - Cod . - arXiv : 1207,6637 .
• Remi Soummer, Laurent Pueyo, James Larkin. Detectarea și caracterizarea exoplanetelor și discurilor folosind proiecții pe Karhunen-Loève Eigenimages // The Astrophysical Journal Letters. - 2012. - T. 755 , nr. 2 . - doi : 10.1088/2041-8205/755/2/L28 . - Cod biblic . - arXiv : 1207.4197 .
• Zahed Wahhaj, Lucas A. Cieza, Dimitri Mawet, Bin Yang, Hector Canovas, Jozua de Boer, Simon Casassus, François Ménard, Matthias R. Schreiber, Michael C. Liu, Beth A. Biller, Eric L. Nielsen, Thomas L. fân. Îmbunătățirea raportului semnal-zgomot în imagistica directă a exoplanetelor și discurilor circumstelare cu MLOCI // Astronomy & Astrophysics. - 2015. - T. 581 , nr. 24 . - S. A24 . - doi : 10.1051/0004-6361/201525837 . - Cod biblic . - arXiv : 1502.03092 .
• Laurent Pueyo. Detectarea și caracterizarea exoplanetelor folosind proiecții pe Karhunen Loeve Eigenimages: Forward Modeling // The Astrophysical Journal. - 2016. - T. 824 , nr. 2 . - doi : 10.3847/0004-637X/824/2/117 . - Cod biblic . - arXiv : 1604.06097 .
• Finn Årup Nielsen, Daniela Balslev, Lars Kai Hansen. Exploatarea cingulului posterior: segregarea dintre componentele memoriei și ale durerii // NeuroImage . - 2005. - T. 27 , nr. 3 . — S. 520–522 . - doi : 10.1016/j.neuroimage.2005.04.034 . — PMID 15946864 .
• William Cohen. Setul de date de e-mail Enron . - 2005. - Aprilie.
• Michael W. Berry, Murray Browne. Supravegherea e-mailului utilizând factorizarea matriceală non-negativă // Teoria organizării computaționale și matematice . - 2005. - T. 11 , nr. 3 . - doi : 10.1007/s10588-005-5380-5 .
• Finn Arup Nielsen. Clustering de citări științifice în Wikipedia  // Wikimania . — 2008.
• Berry MW, Browne M., Langville AN, Pauca VP, Plemmons RJ Algorithms and Applications for Aproximate Nonnegative Matrix Factorization // Statistica computațională și analiza datelor. — 2007.
• Yun Mao, Lawrence Saul, Jonathan M. Smith. IDES: An Internet Distance Estimation Service for Large Networks // IEEE Journal on Selected Areas in Communications . - 2006. - T. 24 , nr. 12 . — S. 2273–2284 . - doi : 10.1109/JSAC.2006.884026 .
• Yang Chen, Xiao Wang, Cong Shi. Phoenix: Un sistem de coordonate de rețea bazat pe pondere care utilizează factorizarea matriceală . - 2011. - T. 8 , nr. 4 . - doi : 10.1109/tnsm.2011.110911.100079 . Arhivat din original pe 14 noiembrie 2011.
• Devarajan K. Nonnegative Matrix Factorization: An Analytical and Interpretative Tool in Computational Biology // PLoS Computational Biology . - 2008. - Vol. 4 , nr. 7 . - doi : 10.1371/journal.pcbi.1000029 . - Cod biblic . — PMID 18654623 .
• Hyunsoo Kim, Haesun Park. Factorizări de matrice nenegative rare prin alternarea celor mai mici pătrate nenegativ-constrânse pentru analiza datelor cu microarray  // Bioinformatică . - 2007. - T. 23 , nr. 12 . - doi : 10.1093/bioinformatics/btm134 . — PMID 17483501 .
• Profilul de metilare a ADN-ului Schwalbe E. al meduloblastomului permite o subclasificare robustă și o predicție îmbunătățită a rezultatului folosind biopsii fixate cu formol // Acta Neuropathologica . - 2013. - T. 125 , nr. 3 . - doi : 10.1007/s00401-012-1077-2 . — PMID 23291781 .
• Ludmil B. Alexandrov, Serena Nik-Zainal, David C. Wedge, Peter J. Campbell, Michael R. Stratton. Descifrarea semnăturilor proceselor mutaționale operative în cancerul uman // Cell Reports. - 2013. - ianuarie ( vol. 3 , numărul 1 ). — ISSN 2211-1247 . - doi : 10.1016/j.celrep.2012.12.008 . — PMID 23318258 .
• Di Paola R., Bazin JP, Aubry F., Aurengo A., Cavailloles F., Herry JY, Kahn E. Handling of dynamic sequences in nuclear medicine // IEEE Trans Nucl Sci . - 1982. - T. NS-29 , nr. 4 . - doi : 10.1109/tns.1982.4332188 . - Cod biblic .
• Sitek A., Gullberg GT, Huesman RH Corecție pentru soluții ambigue în analiza factorială folosind un obiectiv penalizat pentru cele mai mici pătrate // ​​IEEE Trans Med Imaging . - 2002. - T. 21 , nr. 3 . - doi : 10.1109/42.996340 . — PMID 11989846 .
• Boutsidis C., Gallopoulos E. Inițializare bazată pe SVD: Un avans pentru factorizarea matricei nenegative // ​​Pattern Recognition. - 2008. - T. 41 , nr. 4 . - S. 1350-1362 . - doi : 10.1016/j.patcog.2007.09.010 .
• Chao Liu, Hung-chih Yang, Jinliang Fan, Li-Wei He, Yi-Min Wang. Factorizarea matricei nenegative distribuite pentru analiza datelor diadice la scară web pe MapReduce  // Proceedings of the 19th International World Wide Web Conference. — 2010.
• Jiangtao Yin, Lixin Gao, Zhongfei (Mark) Zhang. Factorizarea matricei nenegative scalabile cu actualizări în bloc  // Proceedings of the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases. — 2014.
• Dong Wang, Ravichander Vipperla, Nick Evans, Thomas Fang Zheng. Învățare online a modelelor convolutive non-negative pentru semnale vocale  // Tranzacții IEEE privind procesarea semnalului. - 2013. - T. 61 , nr. 1 . — p. 44–56 . - doi : 10.1109/tsp.2012.2222381 . - Cod biblic . Arhivat din original pe 19 aprilie 2015.
• Xiangnan He, Min-Yen Kan, Peichu Xie, Xiao Chen. Clustering Multi-View bazat pe comentarii a articolelor Web 2.0  // Proceedings of the 23rd International World Wide Web Conference. - 2014. Arhivat la 2 aprilie 2015.
• Jialu Liu, Chi Wang, Jing Gao, Jiawei Han. Clustering cu mai multe vizualizări prin factorizare cu matrice nenegativă comună . — Proceedings of SIAM Data Mining Conference. - 2013. - S. 252-260. — ISBN 978-1-61197-262-7 . - doi : 10.1137/1.9781611972832.28 .

Lectură suplimentară

• Shen J., Israël GW Un model de receptor care utilizează o tehnică specifică de transformare nenegativă pentru aerosoli ambientali  // Mediul atmosferic . - 1989. - T. 23 , nr. 10 . — S. 2289–2298 . - doi : 10.1016/0004-6981(89)90190-X . - Cod .
• Pentti Paatero. Formularea cu cele mai mici pătrate a analizei factorilor nenegativi robuste // Chimiometrie și sisteme inteligente de laborator . - 1997. - T. 37 , nr. 1 . — S. 23–35 . - doi : 10.1016/S0169-7439(96)00044-5 .
• Raul Compass. O măsură de divergență generalizată pentru factorizarea matricei nenegative // ​​Calcul neuronal . - 2007. - T. 19 , nr. 3 . — S. 780–791 . - doi : 10.1162/neco.2007.19.3.780 . — PMID 17298233 .
• Liu WX, Zheng NN, You QB Nonnegative Matrix Factorization și aplicațiile sale în recunoașterea modelelor  // Chinese Science Bulletin . - 2006. - T. 51 , nr. 17–18 . — pp. 7–18 . - doi : 10.1007/s11434-005-1109-6 . — Cod biblic .  (link indisponibil)
• Ngoc-Diep Ho, Paul Van Dooren, Vincent Blondel. Metode de descendență pentru factorizarea cu matrice nenegativă. — 2008.
• Andrzej Cichocki, Rafal Zdunek, Shun-ichi Amari. Matrice nonnegativă și factorizare tensorială // IEEE Signal Processing Magazine . - 2008. - T. 25 , nr. 1 . — S. 142–145 . - doi : 10.1109/MSP.2008.4408452 . - Cod biblic .
• Cedric Fevotte, Nancy Bertin, Jean-Louis Durrieu. Factorizarea matricei nenegative cu divergența Itakura-Saito: cu aplicare la analiza muzicii // Calcul neuronal . - 2009. - T. 21 , nr. 3 . — S. 793–830 . - doi : 10.1162/neco.2008.04-08-771 . — PMID 18785855 .
• Ali Taylan Cemgil. Inferență bayesiană pentru modele de factorizare a matricei nenegative  // ​​Inteligență computațională și neuroștiință . - 2009. - T. 2009 , nr. 2 . — S. 1–17 . - doi : 10.1155/2009/785152 . — PMID 19536273 .  (link indisponibil)

Învățare automată și extragerea datelor
Sarcini	Problema de clasificare Învățați fără profesor Învățare asistată de profesor Analiza regresiei AutoML Regulile de asociere Extragerea caracteristicilor Antrenamentul trăsăturilor Antrenament de clasare Derivarea gramaticală Învățare online
Învățarea cu un profesor	metoda k-cel mai apropiat vecin Clasificator naiv Bayes arborele de decizie Suport mașină vectorială Regresie liniara Regresie logistică perceptron Ansambluri de modele Bagare stimularea pădure la întâmplare Metoda vectorială relevantă
analiza grupului	metoda k-means Metoda de grupare fuzzy Gruparea ierarhică algoritmul EM MESTEACĂN VINDECA DBSCAN OPTICA Schimbarea medie
Reducerea dimensionalității	Analiza factorilor Metoda componentei principale CCA ICA LDA Expansiunea nenegativă a matricei t-SNE
Prognoza structurală	Modelul probabilistic grafic Rețeaua bayesiană Modelul Markov ascuns CRF
Detectarea anomaliilor	metoda k-cel mai apropiat vecin Nivelul de emisie local
Modele grafice probabilistice	Rețeaua bayesiană Rețeaua Markov Modelul Markov ascuns
Rețele neuronale	Mașină Boltzmann limitată hartă de auto-organizare Funcția de activare Sigmoid softmax Funcția de bază radială Metoda de propagare înapoi Invatare profunda Perceptron multistrat Rețea neuronală recurentă memorie pe termen lung și scurt Bloc recurent controlat Rețeaua neuronală convoluțională U-Net Autoencoder
Consolidarea învățării	procesul Markov Ecuația Bellman Algoritmul lacom Q-learning SARSA Diferența temporală (TD)
Teorie	Teoria Vapnik-Chervonenkis Dilema părtinire-dispersie Teoria învățării computaționale Minimizarea riscului empiric Occam învață Învățarea PAC Teoria învăţării statistice
Reviste și conferințe	NeurIPS ICML ML JMLR ArXiv:cs.LG