Analiza liniară discriminantă

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită la 10 ianuarie 2022; verificarea necesită 1 editare .

Analiza discriminantă liniară ( LDA , ing. Analiza discriminantă liniară , LDA ), analiza discriminantă normală ( ing. Analiza discriminantă normală , NDA) sau analiza funcției discriminante ( ing. Analiza funcției discriminante ) este o generalizare a discriminantului liniar al lui Fisher , o metodă utilizată în statistici , recunoaștere a modelelor și mașini de antrenament pentru a găsi o combinație liniară de caracteristici care descrie sau separă două sau mai multe clase sau evenimente. Combinația rezultată poate fi utilizată ca clasificator liniar sau, mai frecvent, pentru reducerea dimensionalității înainte de clasificare .

LDA este strâns legată de analiza varianței ( analiza varianței =ANOVA) și analiza de regresie , care încearcă, de asemenea, să exprime o variabilă dependentă ca o combinație liniară a altor caracteristici sau măsurători [1] [2] . Cu toate acestea, analiza varianței folosește variabile calitative independente și o variabilă continuă dependentă , în timp ce analiza discriminantă are variabile independente continue și o variabilă dependentă calitativă ( adică eticheta de clasă) [3] . Regresia logistică și regresia probit sunt mai asemănătoare cu LDA decât cu analiza varianței, deoarece explică și o variabilă calitativă în termeni de variabile explicative continue. Aceste alte metode sunt preferate în aplicațiile în care nu există niciun motiv să presupunem că variabilele independente sunt distribuite în mod normal, ceea ce este ipoteza fundamentală a metodei LDA.

LDA este, de asemenea, strâns legată de analiza componentelor principale ( PCA) și analiza factorială, deoarece caută combinații liniare de variabile care explică cel mai bine datele [ 4] . LDA încearcă în mod explicit să modeleze diferența dintre clasele de date. PCA, pe de altă parte, nu ia în considerare nicio diferență între clase, iar analiza factorială construiește combinații de caracteristici bazate mai degrabă pe diferențe decât pe asemănări. Analiza discriminantă diferă și de analiza factorială prin faptul că nu este o tehnică independentă - pentru ca aceasta să funcționeze, trebuie făcută o distincție între variabile independente și variabile dependente (cele din urmă sunt numite și variabile criteriu).

LDA funcționează atunci când măsurătorile efectuate asupra variabilelor independente pentru fiecare observație sunt continue. Când avem de-a face cu variabile calitative independente, tehnica echivalentă este analiza corespondenței discriminante [5] [6] .

Analiza discriminantă este utilizată atunci când grupurile sunt cunoscute a priori (spre deosebire de analiza cluster ). Fiecare caz trebuie să aibă o valoare în una sau mai multe măsuri de predicție cantitativă și o valoare în măsura de grup [7] . În termeni simpli, analiza funcției discriminante este o clasificare care împarte obiectele în grupuri, clase sau categorii de un anumit tip.

Istorie

Analiza discriminantă dihotomică originală a fost dezvoltată de Sir Ronald Fisher în 1936 [8] . Diferă de ANOVA sau ANOVA multivariată , care sunt utilizate pentru a prezice una (ANOVA) sau mai multe (ANOVA multivariate) variabile dependente continue din una sau mai multe variabile calitative independente. Analiza funcției discriminante este utilă pentru a determina dacă un set de variabile este eficient în prezicerea apartenenței la categorie [9] .

LDA pentru două clase

Luați în considerare un set de observații (numite și caracteristici, atribute, variabile sau dimensiuni) pentru fiecare instanță a unui obiect sau eveniment cu o clasă cunoscută . Acest set de mostre se numește setul de antrenament . Sarcina clasificării este atunci de a găsi un bun predictor pentru clasa oricărui reprezentant al aceleiași distribuții (nu neapărat din setul de antrenament) având în vedere doar observația [10] . ${\vec {x)}$ $y$ $y$ $\vec x$

LDA abordează problema presupunând că distribuțiile condiționale de probabilitate și sunt distribuite în mod normal cu parametrii de medie și de covarianță și respectiv. Conform acestor ipoteze, soluția optimă bayesiană prezice că un punct aparține clasei a doua dacă raportul de probabilitate depășește o anumită valoare (pragul) T, astfel încât: $p({\vec {x}}|y=0)$ $p({\vec {x}}|y=1)$ $\left({\vec {\mu }}_{0},\Sigma _{0}\right)$ $\left({\vec {\mu }}_{1},\Sigma _{1}\right)$

({\vec {x}}-{\vec {\mu }}_{0})^{T}\Sigma _{0}^{-1}({\vec {x}}-{ \vec {\mu }}_{0})+\ln |\Sigma _{0}|-({\vec {x}}-{\vec {\mu }}_{1})^{T} \Sigma _{1}^{-1}({\vec {x}}-{\vec {\mu }}_{1})-\ln |\Sigma _{1}|\ >\ T

Fără alte presupuneri, clasificatorul se numește QDA .

În schimb, LDA face ipoteza simplificatoare suplimentară că este homoschedastic ( adică că clasele de covarianță sunt identice, astfel încât ) și că covarianțele au rang complet. În acest caz, mai mulți membri sunt excluși: $\Sigma _{0}=\Sigma _{1}=\Sigma$

{\vec {x}}^{T}\Sigma _{0}^{-1}{\vec {x}}={\vec {x}}^{T}\Sigma _{1} ^{-1}{\vec {x}}

{\vec {x}}^{T}{\Sigma _{i}}^{-1}{\vec {\mu }}_{i}=({\vec {\mu }}_ {i}}^{T}{\Sigma _{i}}^{-1}{\vec {x}}

, deoarece este hermitian și criteriul de decizie descris mai sus devine valoarea de prag pentru produsul scalar

\Sigma _{i)

{\vec {w}}\cdot {\vec {x}}>c

pentru o constantă de prag c , unde

{\vec {w}}=\Sigma ^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})

c={\frac {1}{2}}(T-{{\vec {\mu }}_{0}}^{T}\Sigma _{0}^{-1}{{\ vec {\mu }}_{0}}+{{\vec {\mu }}_{1}}^{T}\Sigma _{1}^{-1}{{\vec {\mu }} _{unu}})

Aceasta înseamnă că criteriul de intrare într-o clasă este o funcție doar a acestei combinații liniare de observații cunoscute. ${\vec {x)}$ $y$

Este adesea util să vedem această concluzie în termeni de geometrie: criteriul pentru ca o intrare să fie conținută într-o clasă este o funcție a proiecției unui punct din spațiul multidimensional pe un vector (se consideră doar direcția vectorului). Cu alte cuvinte, o observație aparține lui , dacă cea corespunzătoare este situată pe o anumită parte a hiperplanului perpendicular pe . Poziția planului este determinată de valoarea pragului c. ${\vec {x)}$ $y$ ${\vec {x)}$ ${\vec {w)}$ $y$ ${\vec {x)}$ ${\vec {w)}$

Ipoteze

Ipotezele analizei discriminante sunt aceleași ca și pentru analiza multivariată a varianței. Analiza este foarte sensibilă la valori aberante și dimensiunea celui mai mic grup ar trebui să fie mai mare decât numărul de variabile predictoare (independente) [7] .

Normalitate multivariată : Variabilele independente sunt normale pentru orice nivel al variabilei de grupare [9] [7] .
Uniformitatea varianței/covarianței ( homoschedasticitate ): varianțele dintre variabilele grupului sunt aceleași la toate nivelurile de predictor. Acest lucru poate fi verificat folosind statistica M a lui Box [9] . Se propune, totuși, ca analiza discriminantă liniară să fie aplicată atunci când covarianțele sunt egale, iar când covarianțele nu sunt egale, poate fi utilizată analiza discriminantă pătratică [7] .
Multicolinearitate : puterea de predicție poate scădea pe măsură ce crește corelația dintre variabilele predictoare (independente) [7] .
Independență : Se presupune că itemii sunt distribuiți aleatoriu și scorul pe o variabilă pentru un item este independent de scorul pe o altă variabilă [9] [7] .

Se presupune că analiza discriminantă este relativ stabilă în ceea ce privește micile încălcări ale acestor ipoteze [11] . S-a demonstrat că analiza discriminantă poate rămâne plauzibilă atunci când sunt utilizate variabile aleatoare dihotomice (când normalitatea multivariată este adesea încălcată) [12] .

Funcții discriminante

Analiza discriminantă funcționează prin crearea uneia sau mai multor combinații liniare de predictori, producând o nouă variabilă latentă pentru fiecare caracteristică. Aceste caracteristici sunt numite caracteristici discriminante . Numărul de caracteristici posibile este fie Ng -1, unde Ng = numărul de grupuri, fie p (numărul de predictori), oricare dintre acestea este mai mic. Prima caracteristică creată maximizează diferența dintre grupurile pentru acea caracteristică. A doua funcție maximizează diferența față de această funcție, dar nu trebuie să se coreleze cu funcția anterioară. Procesul continuă cu crearea unei secvențe de caracteristici cu cerința ca noua caracteristică să nu se coreleze cu toate cele anterioare.

Având în vedere un grup cu seturi de spațiu eșantion , există o regulă discriminantă astfel încât dacă , atunci . Analiza discriminantă găsește apoi zone „bune” ale seturilor pentru a minimiza eroarea de clasificare, rezultând astfel un procent de clasificare ridicat [13] . $j$ $\mathbb {R} _{j)$ $x\in \mathbb {R} _{j)$ $x\in j$ $\mathbb {R} _{j)$

Fiecare caracteristică este urmată de un scor discriminant pentru a determina cât de bine prezice apartenența la grup.

Coeficienți de corelație structurală: corelația dintre fiecare predictor și scorul discriminant pentru fiecare caracteristică. Aceasta este o corelație completă [14] .
Coeficienți normalizați: contribuția fiecărui predictor la fiecare caracteristică, deci aceasta este o corelație parțială . Afișează importanța relativă a fiecărui predictor ca o contribuție la apartenența la grup pentru fiecare caracteristică.
Caracteristici din centroizii de grup: scorurile discriminante medii pentru fiecare variabilă pentru fiecare caracteristică. Cu cât mediile sunt mai îndepărtate, cu atât eroarea de clasificare va fi mai mică.

Reguli discriminante

Metoda maximă probabilitate : Atribuie x grupului care maximizează densitatea populației (grupului) [15] .
Regula discriminantă Bayes: Atribuie x grupului de maximizare , unde reprezintă probabilitatea anterioară a clasificării și reprezintă densitatea populației [15] . $\pi _{i}f_{i}(x)$ $\pi _{i}$ $f_{i}(x)$
Regula discriminantă liniară a lui Fisher: Maximizează raportul dintre SS între și SS în interiorul , și găsește o combinație liniară de predictori pentru predicția de grup [15] .

Valori proprii

Valoarea proprie în analiza discriminantă este valoarea proprie pentru fiecare funcție[ Ce este o valoare proprie pentru o funcție? ] . Acesta arată modul în care funcția separă grupurile. Cu cât valoarea proprie este mai mare, cu atât împarte mai bine funcția [7] . Aici, totuși, trebuie să fim atenți, deoarece valorile proprii nu au limită superioară [9] [7] . Valoarea proprie poate fi considerată ca raportul dintre SS și SS în interior ca în ANOVA când variabila dependentă este funcția discriminantă și grupurile sunt nivelurile IV [9] . Aceasta înseamnă că cea mai mare valoare proprie este asociată cu prima funcție, a doua cea mai mare este asociată cu a doua și așa mai departe.

Dimensiunea efectului

Unii sugerează utilizarea valorilor proprii ca măsură a mărimii efectului , dar acest lucru nu este acceptat în general [9] . În schimb, este de preferat să folosiți corelația canonică ca măsură a efectului . Este similar cu valoarea proprie, dar este rădăcina pătrată a raportului SS între și SS total . Este egală cu corelația dintre grupuri și funcție [9] .

O altă măsură populară a mărimii efectului este variația procentuală .[ clarifica ] pentru fiecare funcție. Poate fi calculat folosind formula: , unde este valoarea proprie pentru funcție și este suma tuturor valorilor proprii. Valoarea ne spune cât de precisă este predicția dată de o anumită funcție în comparație cu alte funcții [9] . $(\lambda _{x}/\mathrm {\Sigma} \lambda _{i}'')\times 100$ $\lambda _{x}$ $\mathrm {\Sigma} \lambda _{i)$

Procentul de clasificare corectă poate fi analizat ca mărime a efectului [9] .

Analiză discriminantă canonică pentru k clase

Analiza discriminantă canonică ( CDA ) găsește axe ( k − 1 coordonate canonice , unde k este numărul de clase ) care separă cel mai bine categoriile . Aceste funcții liniare nu se corelează și, ca rezultat, determină spațiul optim k − 1 dimensional printr-un nor de date n - dimensional care separă cel mai bine k grupuri. Consultați „ LDA cu mai multe clase ” de mai jos.

Discriminantul liniar al lui Fisher

Termenii discriminant liniar al lui Fisher și LDA sunt adesea folosiți în mod interschimbabil, deși lucrarea originală a lui Fisher [1] descrie de fapt un discriminant ușor diferit care nu face aceleași presupuneri ca și LDA, cum ar fi distribuția normală a clasei sau covarianța egală a clasei .

Să presupunem că două clase de observații au medii și covarianțe . Atunci combinația liniară de caracteristici va avea medii și varianțe pentru . Fisher a definit separarea dintre aceste două distribuții ca raportul dintre varianța dintre clase și varianța în cadrul claselor: ${\vec {\mu }}_{0},{\vec {\mu }}_{1}$ $\Sigma _{0},\Sigma _{1}$ ${\vec {w}}\cdot {\vec {x}}$ ${\vec {w}}\cdot {\vec {\mu }}_{i}$ ${\vec {w}}^{T}\Sigma _{i}{\vec {w}}$ $i=0,1$

S={\frac {\sigma _{\text{between}}^{2}}{\sigma _{\text{in}}^{2}}}={\frac {({\vec {w}}\cdot {\vec {\mu }}_{1}-{\vec {w}}\cdot {\vec {\mu }}_{0})^{2}}{{\vec {w}}^{T}\Sigma _{1}{\vec {w}}+{\vec {w}}^{T}\Sigma _{0}{\vec {w}}}}={ \frac {({\vec {w}}\cdot ({\vec {\mu }}_{1}-{\vec {\mu }}_{0}))^{2}}{{\vec {w}}^{T}(\Sigma _{0}+\Sigma _{1}){\vec {w}}}}

Această măsură este, într-un sens, o măsură a raportului semnal-zgomot pentru etichetarea clasei. Se poate arăta că separarea maximă va fi când

{\vec {w}}\propto (\Sigma _{0}+\Sigma _{1})^{-1}({\vec {\mu }}_{1}-{\vec { \mu }}_{0})

Dacă ipotezele LDA sunt valabile, egalitatea de mai sus este echivalentă cu LDA.

Rețineți că vectorul este normala hiperplanului discriminant . De exemplu, într-o problemă bidimensională, dreapta care separă cel mai bine cele două grupuri este perpendiculară pe . $\vec w$ $\vec w$

În general, punctele de date care le partajează sunt proiectate pe . Valoarea prag care separă cel mai bine datele este apoi selectată pe baza unei distribuții univariate. Nu există o regulă generală pentru selectarea pragului. Cu toate acestea, dacă proiecțiile punctelor din ambele clase arată aproximativ aceeași distribuție, un hiperplan între proiecțiile celor două medii și , este o alegere bună . În acest caz, parametrul c în condiția de prag poate fi găsit în mod explicit: $\vec w$ ${\vec {w}}\cdot {\vec {\mu }}_{0}$ ${\vec {w}}\cdot {\vec {\mu }}_{1}$ ${\vec {w}}\cdot {\vec {x}}>c$

c={\vec {w}}\cdot {\frac {1}{2}}({\vec {\mu }}_{0}+{\vec {\mu }}_{1} )={\frac {1}{2}}{\vec {\mu }}_{1}^{T}\Sigma _{1}^{-1}{\vec {\mu }}_{1 }-{\frac {1}{2}}{\vec {\mu }}_{0}^{T}\Sigma _{0}^{-1}{\vec {\mu }}_{0 }

Metoda Otsu este legată de discriminantul liniar al lui Fisher și a fost creată pentru a binariza histograma pixelilor dintr-o imagine monocromă prin alegerea optimă a unui prag alb/negru care minimizează variațiile intra-clasă și maximizează variațiile între clase.

LDA cu mai multe clase

În cazul în care există mai mult de două clase, analiza utilizată în obținerea discriminantului Fisher poate fi extinsă pentru a obține un subspațiu care conține toate variațiile claselor [14] [16] . Această generalizare se datorează lui K. R. Rao [17] . Să presupunem că fiecare dintre clasele C are o medie și aceeași covarianță . Apoi, răspândirea varianței de clasă poate fi definită ca covarianța eșantionului a mediilor de clasă $\mu _{i)$ $\Sigma$

\Sigma _{b}={\frac {1}{C}}\sum _{i=1}^{C}(\mu _{i}-\mu )(\mu _{i} -\mu )^{T}

unde este media mediilor pentru clase. Separatorul de clasă în direcția în acest caz va fi dat de valoare $\mu$ ${\vec {w)}$

S={\frac {{\vec {w}}^{T}\Sigma _{b}{\vec {w}}}({\vec {w}}^{T}\Sigma {\ vec{w}}}}

Aceasta înseamnă că atunci când este un vector propriu , valoarea de ramificare va fi egală cu valoarea proprie corespunzătoare . ${\vec {w)}$ $\Sigma ^{-1}\Sigma _{b)$

Dacă este diagonalizabilă, varianța dintre caracteristici va fi conținută în subspațiul acoperit de vectorii proprii corespunzători celor mai mari valori proprii C - 1 (deoarece rangul este cel mult C - 1). Acești vectori proprii sunt utilizați în principal în selecția caracteristicilor, ca în PCA. Vectorii proprii corespunzători valorilor proprii mai mici sunt foarte sensibili la alegerea exactă a datelor de antrenament și este adesea necesar să se aplice regularizarea așa cum este descris în secțiunea următoare. $\Sigma ^{-1}\Sigma _{b)$ $\Sigma _{b)$

Dacă este necesară clasificarea, există multe abordări alternative care pot fi utilizate în locul reducerii dimensionalității . De exemplu, clasele pot fi împărțite și discriminantul standard Fisher sau LDA poate fi utilizat pentru a clasifica fiecare parte. Un exemplu comun al acestei abordări este „unul împotriva celorlalți”, atunci când punctele unei clase se încadrează într-un grup și orice altceva se încadrează într-un alt grup, atunci se aplică LDA. Acest lucru dă clasificatori C ale căror rezultate sunt combinate. O altă metodă comună este clasificarea pe perechi, în care un nou clasificator este creat pentru fiecare pereche de clase (care oferă un total de clasificatori C ( C − 1)/2) și clasificatorii individuali sunt combinați pentru a produce clasificarea finală.

Algoritm LDA incremental

O implementare tipică a tehnicii LDA necesită ca toate mostrele să fie disponibile simultan. Cu toate acestea, există situații în care întregul set de date nu este disponibil și intrarea este primită ca flux. În acest caz, este de dorit să se poată actualiza caracteristicile LDA calculate analizând noi eșantioane fără a rula întregul algoritm pe setul complet de date pentru a extrage caracteristicile LDA . De exemplu, în multe aplicații în timp real, cum ar fi robotica mobilă sau recunoașterea feței, este important să actualizați caracteristicile LDA extrase de îndată ce o nouă observație devine disponibilă. O tehnică de extracție a caracteristicilor LDA care poate actualiza caracteristicile LDA pur și simplu prin procesarea de noi mostre se numește algoritm LDA incremental , iar această idee a fost studiată intens în ultimele două decenii [18] . Catterjee și Roychaudhary au propus un algoritm LDA incremental de auto-organizare pentru actualizarea caracteristicilor LDA [19] . Într-o altă lucrare, Demir și Ozmehmet au propus algoritmi de învățare locală online pentru a actualiza caracteristicile LDA în mod incremental folosind corecția erorilor și regulile de învățare ale lui Hebb [20] . Mai recent, Aliyari, Rujic și Moghaddam au dezvoltat un algoritm rapid incremental pentru actualizarea caracteristicilor LDA prin observarea unor noi mostre [18] .

Aplicație practică

În practică, mediile de clasă și covarianțele sunt necunoscute. Ele pot fi, totuși, evaluate din setul de antrenament. În locul valorii exacte în ambele egalități pot fi utilizate fie metoda probabilității maxime , fie metoda de estimare maximă posterioară . Deși estimările de covarianță pot fi considerate optime într-un anumit sens, aceasta nu înseamnă că discriminantul obținut prin înlocuirea acestor valori este optim în orice sens, chiar dacă ipoteza unei distribuții normale a clasei este corectă.

O altă dificultate în aplicarea metodei discriminante LDA și Fisher la datele reale apare atunci când numărul de măsurători din fiecare probă (adică dimensiunea fiecărui vector de date) atinge numărul de eșantioane din fiecare clasă [4] . În acest caz, estimările de covarianță nu au rang complet și nu pot fi inversate. Există mai multe moduri în jurul acestui lucru. O modalitate este de a folosi o matrice pseudo-inversă în loc de inversa obișnuită în formulele de mai sus. Cu toate acestea, o stabilitate numerică mai bună poate fi obținută prin proiectarea problemei în subspațiul acoperit de [21] . O altă strategie pentru a trata dimensiunile mici ale eșantionului este de a utiliza o estimare compresivă matricei de covarianță, care poate fi reprezentată matematic ca $\Sigma _{b)$

\Sigma =(1-\lambda)\Sigma +\lambda E\,

unde este matricea de identitate și este intensitatea compresiei sau parametrul de regularizare . Aceasta duce la noțiunea de analiză discriminantă regulată [22] sau analiză discriminantă cu contracție [23] . $E$ $\lambda$

De asemenea, în multe cazuri practice, discriminanții liniari nu sunt adecvați. LDA și discriminantul lui Fisher pot fi extinse pentru a fi utilizate în clasificarea neliniară folosind un truc de nucleu . Aici, observațiile originale sunt mapate efectiv într-un spațiu neliniar de dimensiuni mai mari. O clasificare liniară în acest spațiu neliniar este atunci echivalentă cu o clasificare neliniară în spațiul original. Cel mai des folosit exemplu al acestei abordări este discriminantul nuclear al lui Fisher .

LDA poate fi generalizată la analiza multi-discriminantă în care c devine o variabilă calitativă cu N stări posibile în loc de două. În mod similar, dacă densitățile de distribuție pentru clase sunt normale și au aceeași covarianță, statistici suficiente pentru sunt valorile N proiecțiilor, care sunt subspațiul acoperit de N medii proiectate afin de matricea de covarianță inversă. Aceste proiecții pot fi găsite prin rezolvarea problemei cu valori proprii generalizate , unde numărătorul este matricea de covarianță formată prin tratarea mediilor ca eșantioane, iar numitorul este matricea de covarianță comună. Consultați „ LDA cu mai multe clase ” de mai sus. $p({\vec {x}}\mid c=i)$ $P(c\mid {\vec {x}))$

Aplicații

Pe lângă exemplele de mai jos, LDA are aplicații în poziționare și management de produs .

Prognoza falimentului

În predicția falimentului pe baza ratelor contabile și a altor variabile financiare, analiza discriminantă liniară a fost prima metodă statistică folosită pentru a explica în mod sistematic care firme vor eșua sau vor supraviețui. În ciuda limitărilor, inclusiv a incorectei bine-cunoscute a ipotezei distribuției normale LDA pentru ratele contabile , modelul lui Edward Altman din 1968 rămâne modelul lider în aplicațiile practice.

Recunoaștere facială

Într-un sistem computerizat de recunoaștere a feței, fiecare față este reprezentată de un număr mare de valori de pixeli. Analiza discriminantă liniară este aplicată aici în principal pentru a reduce numărul de caracteristici la un număr mai ușor de gestionat înainte de a încerca clasificarea. Fiecare dintre noile dimensiuni este o combinație liniară de valori de pixeli, formând un model. Combinațiile liniare obținute folosind discriminantul liniar al lui Fisher sunt numite fețe Fisher , în timp ce combinațiile obținute folosind analiza componentelor principale sunt numite fețe proprii [24] .

Marketing

În marketing, analiza discriminantă a fost adesea folosită pentru a determina factorii care disting diferitele tipuri de utilizatori și/sau produse pe baza anchetelor sau a altor forme de colectare a datelor. În prezent, regresia logistică sau alte metode sunt de obicei folosite în aceste scopuri. Utilizarea analizei discriminante în marketing poate fi descrisă ca următorii pași:

Formulăm problema și colectăm date. Definim trăsăturile ale proprietăților consumatorului pe care consumatorii le folosesc pentru a le evalua în această categorie. Folosim o tehnică cantitativă de cercetare de marketing (cum ar fi un sondaj ) pentru a colecta date de la un eșantion de consumatori potențiali cu privire la evaluarea acestora asupra tuturor atributelor unui produs. Faza de colectare a datelor este de obicei efectuată de profesioniști în cercetarea de marketing. Întrebările din sondajul social le cer respondenților să evalueze un produs pe o scară de la 1 la 5 (sau de la 1 la 7 sau de la 1 la 10) pe un set de indicatori aleși de cercetători. Alegeți de la cinci până la douăzeci de indicatori. Acestea pot include proprietăți precum ușurința în utilizare, greutatea, precizia, durabilitatea, gama de culori, prețul sau dimensiunea. Indicatorii selectați vor varia în funcție de produsul studiat. Aceleași întrebări sunt puse despre toate produsele aflate în studiu. Datele pentru produse sunt codificate și introduse în programe statistice precum R , SPSS sau SAS . (Acest pas este același cu pasul din analiza factorială).
Evaluăm coeficienții funcției discriminante și determinăm semnificația și validitatea statistică. Alegem metoda adecvată de analiză discriminantă. Metoda directă utilizează evaluarea funcției discriminante astfel încât toți predictorii să fie evaluați simultan. Metoda treptată introduce predictori secvenţial. Metoda cu două grupuri ar trebui utilizată atunci când variabila dependentă are două categorii sau stări. Metoda discriminantă multivariată este utilizată atunci când variabila dependentă are trei sau mai multe stări categorice. Pentru testarea semnificației, puteți utiliza lambda a lui Wilks în SPSS sau „F stat” în SAS. Cea mai comună metodă de testare a validității este împărțirea eșantionului într-o probă de evaluare sau de analiză și o probă de validare sau de amânare. Eșantionul de evaluare este utilizat pentru a construi funcția discriminantă. Eșantionul de testare este utilizat pentru a construi o matrice de clasificare care conține numărul de cazuri clasificate corect și incorect clasificate. Procentul de cazuri clasificate corect se numește rata de accesare .
Reprezentăm rezultatul pe un grafic bidimensional, determinăm dimensiunile și interpretăm rezultatul. Programul statistic ajută la afișarea rezultatelor. Graficul va afișa fiecare produs (de obicei în spațiu 2D). Distanța dintre produse arată cât de diferite sunt acestea. Dimensiunile ar trebui să fie marcate de către cercetător. Acest lucru necesită o decizie subiectivă și sunt adesea foarte controversate. Consultați Construirea unei hărți perceptuale .

Cercetare biomedicală

Principala aplicație a analizei discriminante în medicină este evaluarea severității stării pacientului și prognosticul evoluției bolii. De exemplu, în timpul analizei retrospective, pacienții sunt împărțiți în grupuri în funcție de severitatea bolii - forme ușoare, moderate și severe. Rezultatele analizelor clinice și de laborator sunt apoi examinate pentru a găsi variabile care sunt suficient de diferite în grupurile de studiu. Pe baza acestor variabile se construiesc funcții discriminante care ajută la clasificarea obiectivă a evoluției bolii la pacienți în viitor, fie că va fi uşoară, moderată sau severă.

În biologie, principii similare sunt folosite pentru a clasifica și defini grupuri de diferite obiecte biologice, de exemplu, pentru a determina tipul de fag al enteritei cu Salmonella, pe baza transformării Fourier a spectrului infraroșu [25] , pentru a determina sursa Escherichia coli prin studierea factorilor săi de virulență [26] , etc.

Geoștiințe

Această metodă poate fi utilizată pentru a separa zonele de alterare hidrotermală. De exemplu, atunci când sunt disponibile date diferite din zone diferite, analiza discriminantă poate găsi modele în date și le poate clasifica eficient [27] .

Comparație cu regresia logistică

Analiza funcțională discriminativă este foarte asemănătoare regresiei logistice , iar ambele metode pot fi folosite pentru a răspunde la unele întrebări ale cercetătorilor [9] . Regresia logistică nu are atât de multe ipoteze ca analiza discriminantă. Cu toate acestea, dacă sunt îndeplinite ipotezele analizei discriminante, aceasta este mai puternică decât regresia logistică [28] . Spre deosebire de regresia logistică, analiza discriminantă poate fi utilizată pentru eșantioane de dimensiuni mici. S-a demonstrat că atunci când dimensiunile eșantionului sunt aceleași și există omogenitate a varianței/covarianței, analiza discriminantă este mai precisă [7] . Având în vedere toate acestea, regresia logistică este aleasă mai des deoarece ipotezele analizei discriminante sunt rareori îndeplinite [8] [7] .

Vezi și

Note

↑ 12 Fisher , 1936 , p. 179–188.
↑ McLachlan, 2004 .
↑ Wetcher-Hendricks, 2011 , p. 288.
↑ 1 2 Martinez, Kak, 2001 , p. 228–233.
↑ Abdi, 2007 , p. 270–275.
↑ Perriere, Thioulouse, 2003 , p. 99–105.
↑ 1 2 3 4 5 6 7 8 9 10 ÇOKLUK, BÜYÜKÖZTÜRK, 2008 , p. 73-92.
↑ 1 2 Cohen, Cohen, West, Aiken, 2003 .
↑ 1 2 3 4 5 6 7 8 9 10 11 Green, Salkind, Akey, 2008 .
↑ Venables, Ripley, 2002 , p. 338.
↑ Lachenbruch, 1975 .
↑ Klecka, 1980 .
↑ Hardle, Simar, 2007 , p. 289–303.
↑ 12 Garson , 2012 .
↑ 1 2 3 Hardle, Simar, 2007 , p. 289-303.
↑ Copie arhivată (downlink) . Preluat la 4 martie 2008. Arhivat din original la 12 martie 2008. (nedefinit) .
↑ Rao, 1948 , p. 159–203.
↑ 1 2 Ghassabeh, Rudzicz, Moghaddam, 2015 , p. 1999–2012
↑ Chatterjee, Roychowdhury, 1997 , p. 663–678.
↑ Demir, Ozmehmet, 2005 , p. 421–431.
↑ Yu, Yang, 2001 , p. 2067–2069.
↑ Friedman, 1989 , p. 165–17.
↑ Ahdesmäki, Strimmer, 2010 , p. 503–519.
↑ Termenul Eigenfaces este folosit pentru a se referi la vectorii proprii și valorile proprii care sunt utilizate în recunoașterea facială prin metoda componentelor principale .
↑ Preisner, Guiomar, Machado, Menezes, Lopes, 2010 , p. 3538–3544.
↑ David, Lynne, Han, Foley, 2010 , p. 7509–7513.
↑ Tahmasebi, Hezarkani, Mortazavi, 2010 , p. 564–576.
↑ Hastie, Tibshirani, Friedman, 2009 , p. 128.

Literatură

Hardle W., Simar L. Applied Multivariate Statistical Analysis. - Berlin Heidelberg: Springer, 2007. - ISBN 3-540-03079-4 .
Lachenbruch PA Analiză discriminantă . — Macmillan Pub. Co., 1975. - ISBN 978-0-02-848250-7 .
William R. Klecka. analiza discriminantă. - Thousand Oaks, CA: Sage Publications, 1980. - (Aplicații cantitative în seria științelor sociale).
- Traducere în colecția lui J.-O. Kim, C.W. Muller, W.R. Klekka, M.S. Oldenderfer, R.K. Blashfield. Analiza factorială, discriminantă și cluster / Ed. ESTE. Eniukov. - M . : „Finanţe şi Statistică”, 1989. - S. 78-137. — ISBN 5-279-00247-X .
Jacob Cohen, Patricia Cohen, Stephen G. West, Leona S. Aiken. Analiza aplicată de regresie multiplă/corelație pentru științe comportamentale. - Ed. a 3-a - Mahwah, New Jersey, Londra: Lawrence Erlbaum Associates, Publishers, 2003. - ISBN 0-8058-2223.
Hardle W., Simar L. Applied Multivariate Statistical Analysis. — al 2-lea. - Berlin Heidelberg: Springer, 2007. - ISBN 9783540722434 .
Abdi H. Analiza corespondenței discriminante // Encyclopedia of Measurement and Statistic / NJ Salkind. — Thousand Oaks (CA): Sage, 2007.
Perriere G., Thioulouse J. Utilizarea analizei discriminante de corespondență pentru a prezice locația subcelulară a proteinelor bacteriene // Metode și programe computerizate în biomedicină. - 2003. - T. 70 . - doi : 10.1016/s0169-2607(02)00011-1 .
Fisher R. A. The Use of Multiple Measurements in Taxonomic Problems // Annals of Eugenics . - 1936. - T. 7 , nr. 2 . - doi : 10.1111/j.1469-1809.1936.tb02137.x .
McLachlan GJ Analiză discriminantă și recunoaștere a modelelor statistice. - Wiley Interscience, 2004. - ISBN 0-471-69115-1 .
Debra Wetcher-Hendricks. Analiza datelor cantitative: o introducere pentru cercetătorii sociali. - Hoboken, NJ: Wiley, 2011. - ISBN 978-0-470-52683-5 .
Garson GD Analiza funcției discriminante. - Asheboro, SUA: Statistical Publishing Associates, 2012. - (Blue Book Series).
Tahmasebi P., Hezarkani A., Mortazavi M. Aplicarea analizei discriminante pentru separarea alterării; depozit de cupru sungun, estul Azerbaidjanului, Iran. Australian // Journal of Basic and Applied Sciences. - 2010. - T. 6 , nr. 4 .
Trevor Hastie, Robert Tibshirani, Jerome Friedman. Elementele învăţării statistice. Exploatarea datelor, inferența și predicția. - al doilea. - Springer, 2009. - ISBN 0387848576 .
BÖKEOĞLU ÇOKLUK Ö, BÜYÜKÖZTÜRK Ş. Analiza funcției discriminante: Concept și aplicare // Eğitim araştırmaları dergisi. - 2008. - Emisiune. 33 .
Green SB, Salkind NJ, Akey TM Utilizarea SPSS pentru Windows și Macintosh: Analiza și înțelegerea datelor. — New Jersey: Prentice Hall, 2008.
Martinez AM, Cum AC PCA versus LDA // Tranzacțiile IEEE privind analiza modelelor și inteligența mașinilor . - 2001. - T. 23 , nr. 2 . — S. 228–233 . - doi : 10.1109/34.908974 .
Yu H., Yang J. Un algoritm LDA direct pentru date cu dimensiuni mari — cu aplicație pentru recunoașterea feței // Pattern Recognition. - 2001. - T. 34 , nr. 10 . - doi : 10.1016/s0031-3203(00)00162-x .
Friedman JH Regularized Discriminant Analysis // Jurnalul Asociației Americane de Statistică . - Asociaţia Americană de Statistică, 1989. - V. 84 , nr. 405 . - doi : 10.2307/2289860 . — .
Ahdesmäki M., Strimmer K. Selectarea caracteristicilor în probleme de predicție omică folosind scoruri de pisică și control fals al ratei de non -descoperire // Annals of Applied Statistics. - 2010. - T. 4 , nr. 1 . — S. 503–519 . - doi : 10.1214/09-aoas277 . - arXiv : 0903.2003 .
Preisner O., Guiomar R., Machado J., Menezes JC, Lopes JA Aplicarea spectroscopiei în infraroșu cu transformată Fourier și a chimiometriei pentru diferențierea tipurilor de fagi ai serovarului Enteritidis Salmonella enterica // Appl Environ Microbiol. - 2010. - T. 76 , nr. 11 . - doi : 10.1128/aem.01589-09 .
David DE, Lynne AM, Han J., Foley SL Evaluarea profilului factorului de virulență în caracterizarea izolatelor veterinare de Escherichia coli // Appl Environ Microbiol. - 2010. - T. 76 , nr. 22 . - doi : 10.1128/aem.00726-10 .
Youness Aliyari Ghassabeh, Frank Rudzicz, Hamid Abrishami Moghaddam. Extragere rapidă incrementală a caracteristicilor LDA // Pattern Recognition. - 2015. - iunie ( vol. 48 , numărul 6 ). - doi : 10.1016/j.patcog.2014.12.012 .
Chatterjee C., Roychowdhury VP Despre algoritmi și rețele de auto-organizare pentru caracteristicile de separare a claselor // Tranzacții IEEE pe rețelele neuronale. - 1997. - Mai ( vol. 8 , numărul 3 ). — ISSN 1045-9227 . - doi : 10.1109/72.572105 .
Demir GK, Ozmehmet K. Online Local Learning Algorithms for Linear Discriminant Analysis // Pattern Recogn. Lett.. - 2005. - Martie ( vol. 26 , numărul 4 ). — ISSN 0167-8655 . - doi : 10.1016/j.patrec.2004.08.005 .
Rao R.C. Utilizarea măsurătorilor multiple în probleme de clasificare biologică // Journal of the Royal Statistical Society, Series B. - 1948. - V. 10 , nr. 2 . — .
Venables WN, Ripley BD Modern Applied Statistics cu S. - al 4-lea. - Springer Verlag, 2002. - ISBN 0-387-95457-0 .

Lectură pentru lecturi suplimentare

Duda RO, Hart PE, Stork DH Pattern Classification. — al 2-lea. - Wiley Interscience, 2000. - ISBN 0-471-05669-3 .
Hilbe JM Modele de regresie logistică. - Chapman & Hall/CRC Press, 2009. - ISBN 978-1-4200-7575-5 .
Mika S. Fisher Analiza discriminantă cu nuclee // IEEE Conference on Neural Networks for Signal Processing IX. - 1999. - S. 41-48 . - doi : 10.1109/NNSP.1999.788121 .
H. Richard McFarland, St. P. Richards Donald. Probabilități exacte de clasificare greșită pentru funcțiile de discriminare cuadratică normală plug-in. I. Cazul Egal-Means // Journal of Multivariate Analysis. - 2001. - T. 77 , nr. 1 . — S. 21–53 . - doi : 10.1006/jmva.2000.1924 .
H. Richard McFarland, St. P. Richards Donald. Probabilități exacte de clasificare greșită pentru funcțiile de discriminare cuadratică normală plug-in. II. Cazul eterogen // Journal of Multivariate Analysis. - 2002. - T. 82 , nr. 2 . — S. 299–330 . - doi : 10.1006/jmva.2001.2034 .

Link -uri

Haghighat M., Abdel-Mottaleb M., Alhalabi W. Analiza corelației discriminante: Fuziune la nivel de caracteristică în timp real pentru recunoașterea biometrică multimodală // Tranzacții IEEE privind criminalistica și securitatea informațiilor. - 2016. - T. 11 , nr. 9 . — S. 1984–1996 . - doi : 10.1109/TIFS.2016.2569061 .
ALGLIB conține implementare LDA open-source în C# / C++ / Pascal / VBA.
Psychometrica.de (link indisponibil) implementare LDA open-source în Java
Tutorial LDA folosind MS Excel
statistici biomedicale. Analiză discriminantă
StatQuest: Analiza discriminantă liniară (LDA) explicată clar pe YouTube
Note de curs, Analiza funcției discriminante de G. David Garson, Universitatea de Stat din NC
Tutorial de analiză discriminantă în Microsoft Excel de Kardi Teknomo
Note de curs, Analiza funcției discriminante de David W. Stockburger, Universitatea de Stat din Missouri Arhivat 3 martie 2016 la Wayback Machine
Analiza funcției discriminante (DA) de John Poulsen și Aaron French, Universitatea de Stat din San Francisco

Învățare automată și extragerea datelor
Sarcini	Problema de clasificare Învățați fără profesor Învățare asistată de profesor Analiza regresiei AutoML Regulile de asociere Extragerea caracteristicilor Antrenamentul trăsăturilor Antrenament de clasare Derivarea gramaticală Învățare online
Învățarea cu un profesor	metoda k-cel mai apropiat vecin Clasificator naiv Bayes arborele de decizie Suport mașină vectorială Regresie liniara Regresie logistică perceptron Ansambluri de modele Bagare stimularea pădure la întâmplare Metoda vectorială relevantă
analiza grupului	metoda k-means Metoda de grupare fuzzy Gruparea ierarhică algoritmul EM MESTEACĂN VINDECA DBSCAN OPTICA Schimbarea medie
Reducerea dimensionalității	Analiza factorilor Metoda componentei principale CCA ICA LDA Expansiunea nenegativă a matricei t-SNE
Prognoza structurală	Modelul probabilistic grafic Rețeaua bayesiană Modelul Markov ascuns CRF
Detectarea anomaliilor	metoda k-cel mai apropiat vecin Nivelul de emisie local
Modele grafice probabilistice	Rețeaua bayesiană Rețeaua Markov Modelul Markov ascuns
Rețele neuronale	Mașină Boltzmann limitată hartă de auto-organizare Funcția de activare Sigmoid softmax Funcția de bază radială Metoda de propagare înapoi Invatare profunda Perceptron multistrat Rețea neuronală recurentă memorie pe termen lung și scurt Bloc recurent controlat Rețeaua neuronală convoluțională U-Net Autoencoder
Consolidarea învățării	procesul Markov Ecuația Bellman Algoritmul lacom Q-learning SARSA Diferența temporală (TD)
Teorie	Teoria Vapnik-Chervonenkis Dilema părtinire-dispersie Teoria învățării computaționale Minimizarea riscului empiric Occam învață Învățarea PAC Teoria învăţării statistice
Reviste și conferințe	NeurIPS ICML ML JMLR ArXiv:cs.LG