Analiza grupului

Analiza cluster este o procedură statistică multidimensională  care colectează date care conțin informații despre un eșantion de obiecte și apoi aranjează obiectele în grupuri relativ omogene [1] [2] [3] [4] . Problema grupării se referă la procesarea statistică și, de asemenea, la o clasă largă de probleme de învățare nesupravegheată .

Majoritatea cercetătorilor (vezi, de exemplu, [5] ) sunt înclinați să creadă că pentru prima dată termenul „cluster analysis” ( în engleză  cluster  - bunch, clot, bundle) a fost propus de psihologul R. Tryon [6] . Ulterior, au apărut o serie de termeni care în prezent sunt considerați sinonimi cu termenul de „analiza cluster”: clasificare automată, botriologie.

Gama de aplicații ale analizei cluster este foarte largă: este folosită în arheologie , medicină , psihologie , chimie , biologie , administrație publică , filologie , antropologie , marketing , sociologie , geologie și alte discipline. Cu toate acestea, universalitatea aplicării a dus la apariția unui număr mare de termeni, metode și abordări incompatibile care fac dificilă utilizarea fără ambiguitate și interpretarea consecventă a analizei cluster.

Sarcini și condiții

Analiza cluster îndeplinește următoarele sarcini principale:

Indiferent de subiectul de studiu, utilizarea analizei cluster implică următorii pași:

Puteți găsi o descriere a două cerințe fundamentale pentru date - uniformitate și completitudine. Omogenitatea necesită ca toate entitățile grupate să fie de aceeași natură, descrise de un set similar de caracteristici [7] . Dacă analiza de grup este precedată de analiza factorială , atunci eșantionul nu trebuie „reparat” - cerințele declarate sunt efectuate automat prin procedura de modelare a factorilor în sine (există un alt avantaj - standardizarea z fără consecințe negative pentru eșantion; dacă se efectuează direct pentru analiza clusterului, poate duce la scăderea clarității separării grupurilor). În caz contrar, eșantionul trebuie ajustat.

Tipologia problemelor de clustering

Tipuri de date de intrare

În știința modernă, sunt utilizați mai mulți algoritmi pentru procesarea datelor de intrare. Analiza prin compararea obiectelor bazate pe trăsături (cel mai des întâlnită în științele biologice) se numește analiză de tip Q , iar în cazul comparării trăsăturilor bazate pe obiecte - analiză de tip R. Există încercări de a utiliza tipuri hibride de analiză (de exemplu, analiza RQ ), dar această metodologie nu a fost încă dezvoltată corespunzător.

Obiectivele grupării

În primul caz, ei încearcă să micșoreze numărul de clustere. În al doilea caz, este mai important să se asigure un grad ridicat de similitudine a obiectelor din cadrul fiecărui cluster și poate exista orice număr de clustere. În al treilea caz, obiectele individuale care nu se încadrează în niciunul dintre grupuri sunt de cel mai mare interes.

În toate aceste cazuri, se poate aplica gruparea ierarhică , atunci când clusterele mari sunt împărțite în altele mai mici, care, la rândul lor, sunt împărțite și mai mici, etc. Astfel de sarcini sunt numite sarcini de taxonomie . Rezultatul taxonomiei este o structură ierarhică arborescentă. În plus, fiecare obiect este caracterizat de o enumerare a tuturor clusterelor cărora le aparține, de obicei de la mare la mic.

Metode de grupare

Nu există o clasificare general acceptată a metodelor de grupare, dar se pot distinge un număr de grupuri de abordări (unele metode pot fi atribuite mai multor grupuri simultan și, prin urmare, se propune să se considere această tipificare ca o aproximare a clasificării reale a grupării). metode) [9] :

  1. Abordare probabilistică . Se presupune că fiecare obiect luat în considerare aparține uneia din clasele k. Unii autori (de exemplu, A. I. Orlov) consideră că acest grup nu aparține deloc grupării și i se opun sub denumirea de „discriminare”, adică alegerea de a atribui obiecte unuia dintre grupurile cunoscute (eșantioane de antrenament).
  2. Abordări bazate pe sisteme de inteligență artificială: un grup foarte condiționat, deoarece există o mulțime de metode și metodologic sunt foarte diferite.
  3. abordare logica. Construcția unei dendrograme se realizează folosind un arbore de decizie.
  4. Abordare graf-teoretică.
  5. Abordare ierarhică. Se presupune prezența unor grupuri imbricate (clustere de ordine diferite). Algoritmii, la rândul lor, sunt împărțiți în aglomerative (unificatoare) și divizoare (separatoare). În funcție de numărul de caracteristici, uneori se disting metodele monotetice și politetice de clasificare.
    • Agruparea divizională ierarhică sau taxonomie. Problemele de grupare sunt tratate în taxonomia cantitativă .
  6. Alte metode. Nu sunt incluse în grupele anterioare.
    • Algoritmi de grupare statistică
    • Ansamblu de clustere
    • Algoritmi din familia KRAB
    • Algoritm bazat pe metoda cernerii
    • DBSCAN etc.

Abordările 4 și 5 sunt uneori combinate sub denumirea de abordare structurală sau geometrică, care are un concept mai formalizat de proximitate [10] . În ciuda diferențelor semnificative dintre metodele enumerate, toate se bazează pe „ ipoteza compactității ” inițială : în spațiul obiectului, toate obiectele apropiate trebuie să aparțină aceluiași grup și, respectiv, toate obiectele diferite trebuie să fie în grupuri diferite.

Declarație formală a problemei de clustering

Fie  un set de obiecte,  fie un set de numere (nume, etichete) de clustere. Este dată funcția de distanță între obiecte . Există un set finit de obiecte de antrenament . Este necesar să se împartă eșantionul în subseturi care nu se suprapun, numite clustere , astfel încât fiecare cluster să fie format din obiecte care sunt apropiate în metrică , iar obiectele diferitelor clustere diferă semnificativ. În acest caz, fiecărui obiect i se atribuie un număr de cluster .

Algoritmul de grupare  este o funcție care asociază orice obiect cu un număr de cluster . Setul în unele cazuri este cunoscut dinainte, dar de cele mai multe ori sarcina este de a determina numărul optim de clustere, în ceea ce privește unul sau altul criteriu de calitate a clusterării.

Clustering ( învățare nesupravegheată ) diferă de clasificare ( învățare supravegheată ) prin aceea că etichetele obiectelor originale nu sunt setate inițial și setul în sine poate fi chiar necunoscut .

Soluția problemei de clustering este fundamental ambiguă și există mai multe motive pentru aceasta (conform mai multor autori):

Aplicație

În biologie

În biologie, gruparea are multe aplicații într-o mare varietate de domenii. De exemplu, în bioinformatică , este folosit pentru a analiza rețele complexe de gene care interacționează, constând uneori din sute sau chiar mii de elemente. Analiza cluster vă permite să identificați subrețele, blocajele, hub-urile și alte proprietăți ascunse ale sistemului studiat, ceea ce vă permite în cele din urmă să aflați contribuția fiecărei gene la formarea fenomenului studiat.

În domeniul ecologiei, este utilizat pe scară largă pentru a identifica grupuri omogene spațial de organisme, comunități etc. Mai rar, metodele de analiză a clusterelor sunt folosite pentru a studia comunitățile în timp. Eterogenitatea structurii comunităților duce la apariția unor metode non-triviale de analiză a clusterelor (de exemplu, metoda Czekanowski ).

Din punct de vedere istoric, măsurile de similitudine sunt mai frecvent utilizate ca măsuri de proximitate în biologie , mai degrabă decât măsuri de diferență (distanță).

În sociologie

La analiza rezultatelor cercetării sociologice, se recomandă efectuarea analizei folosind metodele unei familii aglomerative ierarhice, respectiv metoda Ward, în care dispersia minimă este optimizată în cadrul clusterelor, ca urmare, clustere de dimensiuni aproximativ egale. sunt create. Metoda lui Ward este cea mai de succes pentru analiza datelor sociologice. Ca măsură a diferenței, distanța pătratică euclidiană este mai bună, ceea ce contribuie la creșterea contrastului clusterelor. Principalul rezultat al analizei de cluster ierarhice este o dendrogramă sau „diagrama cu gheață”. Atunci când îl interpretează, cercetătorii se confruntă cu o problemă de același fel ca și interpretarea rezultatelor analizei factoriale - lipsa unor criterii clare de identificare a clusterelor. Se recomandă utilizarea a două metode ca principale - analiza vizuală a dendrogramei și compararea rezultatelor grupării efectuate prin diferite metode.

Analiza vizuală a dendrogramei presupune „tăierea” arborelui la nivelul optim de asemănare a elementelor eșantionului. „Vine branch” (terminologie de M. S. Oldenderfer și R. K. Blashfield [11] ) ar trebui „tăiat” la marcajul 5 al scalei Rescaled Distance Cluster Combine, astfel se va atinge un nivel de similaritate de 80%. Dacă selectarea clusterelor după această etichetă este dificilă (mai multe grupuri mici se îmbină într-unul mare pe ea), atunci puteți alege o altă etichetă. Această tehnică este propusă de Oldenderfer și Blashfield.

Acum se pune problema stabilității soluției de cluster adoptate. De fapt, verificarea stabilității grupării se reduce la verificarea fiabilității acestuia. Există o regulă generală aici - o tipologie stabilă este păstrată atunci când metodele de grupare se schimbă. Rezultatele analizei cluster ierarhice pot fi verificate prin analiza cluster iterativă k-means. Dacă clasificările comparate ale grupurilor de respondenți au o pondere a coincidențelor de peste 70% (mai mult de 2/3 din coincidențe), atunci se ia o decizie de cluster.

Este imposibil să se verifice caracterul adecvat al soluției fără a recurge la un alt tip de analiză. Cel puțin teoretic, această problemă nu a fost rezolvată. Analiza clusterelor clasice a lui Oldenderfer și Blashfield elaborează și în cele din urmă respinge cinci metode suplimentare de testare a robusteței:

  1. corelație cofenetică  - nerecomandat și limitat în utilizare;
  2. teste de semnificație (analiza varianței) - dau întotdeauna un rezultat semnificativ;
  3. tehnica probelor repetate (aleatorie), care, însă, nu dovedește validitatea deciziei;
  4. testele de semnificație pentru caracteristicile externe sunt potrivite numai pentru măsurători repetate;
  5. Metodele Monte Carlo sunt foarte complexe și accesibile numai matematicienilor experimentați .

În informatică

Vezi și

Note

  1. ↑ Aivazyan S. A., Buchstaber V. M., Enyukov I. S., Meshalkin L. D. Statistica aplicată: Clasificare și reducere a dimensionalității. - M .: Finanţe şi statistică, 1989. - 607 p.
  2. ↑ Mandel I. D. Analiza clusterului. — M.: Finanţe şi statistică, 1988. — 176 p.
  3. ↑ Khaidukov D.S. Application of cluster analysis in public administration // Philosophy of Mathematics: Actual Problems. — M.: MAKS Press, 2009. — 287 p.
  4. ↑ Clasificare și cluster. Ed. J. Wen Raizina. M.: Mir, 1980. 390 p.
  5. ↑ Mandel I. D. Analiza clusterului. - M .: Finanțe și statistică, 1988. - P. 10.
  6. ↑ Analiza Tryon RC Cluster. - Londra: Ann Arbor Edwards Bros, 1939. - 139 p.
  7. ↑ Zhambyu M. Analiza clusterului ierarhic și corespondențe. — M.: Finanţe şi statistică, 1988. — 345 p.
  8. ↑ Duran B., Odell P. Cluster analysis. — M.: Statistică, 1977. — 128 p.
  9. ↑ Berikov V. S., Lbov G. S. Modern trends in cluster analysis Copie de arhivă din 10 august 2013 la Wayback Machine // All-Russian competitive selection of review and analytical articles in the priority direction "Information and telecommunication systems", 2008. - 26 p. . .
  10. ↑ Vyatchenin D. A. Metode fuzzy de clasificare automată. - Minsk: Technoprint, 2004. - 219 p.
  11. ↑ Oldenderfer M.S., Blashfield R.K. Cluster analysis / Factor, discriminant and cluster analysis: per. din engleza; Sub. ed. I. S. Enyukova. — M.: Finanţe şi statistică, 1989—215 p.

Link -uri

In rusa În limba engleză
  Accesați articolul Wikidata  Dicționare și enciclopedii
În cataloagele bibliografice