Learning to rank ( learning to rank sau machine-learned ranking, MLR ) [1] este o clasă de sarcini de învățare automată supravegheate care constă în selectarea automată a unui model de clasare dintr-un set de antrenament format dintr-un set de liste și ordine parțiale pe elemente . în cadrul fiecărei liste. Ordinea parțială este de obicei specificată prin specificarea unui punctaj pentru fiecare item (de exemplu, „relevant” sau „nerelevant”; sunt posibile mai mult de două gradații). Scopul unui model de clasare este de a aproxima și generaliza cel mai bine (într-un anumit sens) metoda de clasare în setul de antrenament la date noi.
Învățarea ierarhică este încă un domeniu de cercetare destul de tânăr, în dezvoltare rapidă, care a apărut în anii 2000 odată cu apariția interesului în domeniul regăsirii informațiilor în aplicarea metodelor de învățare automată la problemele de ierarhizare.
În ceea ce privește motoarele de căutare , fiecare listă este un set de documente care satisfac o anumită interogare de căutare.
Eșantionul de instruire constă dintr-un eșantion de interogări de căutare, un subset de documente care le corespund și estimări ale relevanței fiecărui document pentru interogare. Acestea pot fi pregătite atât manual, de către oameni special instruiți (evaluatori sau evaluatori ai calității căutării ) , cât și automat, pe baza analizei clicurilor utilizatorilor [2] sau a instrumentelor motoarelor de căutare precum sistemul SearchWiki al motorului de căutare Google .
În timpul pregătirii modelului de clasare și în timpul funcționării acestuia, fiecare pereche document-cerere este tradusă într-un vector numeric de caracteristici de clasare (numite și factori de clasare sau semnale) care caracterizează proprietățile documentului, interogarea și relația lor. Aceste semne pot fi împărțite în trei grupuri:
Următoarele sunt câteva exemple de caracteristici de clasare utilizate în binecunoscutul set de date LETOR în acest domeniu de cercetare : [5]
Există mai multe valori care evaluează și compară performanța algoritmilor de clasare pe un eșantion cu evaluările de la colegi. Adesea, parametrii modelului de clasare tind să fie ajustați în așa fel încât să maximizeze valoarea uneia dintre aceste metrici.
Exemple de valori:
În articolul său „Learning to Rank for Information Retrieval” [1] și prezentări la conferințe tematice, Tai-Yan Liu de la Microsoft Research Asia a analizat metodele disponibile în prezent pentru rezolvarea problemei de a învăța să ierarhească și a propus clasificarea lor în trei abordări, în funcție de privind reprezentarea datelor de intrare utilizate și funcția de penalizare:
În abordarea punctual , se presupune că fiecărei perechi interogare-document i se atribuie un scor numeric. Sarcina de a învăța să ierarhăm se reduce la construirea unei regresii : pentru fiecare pereche interogare-document individuală, este necesar să se prezică scorul acesteia.
În cadrul acestei abordări, mulți algoritmi de învățare automată pot fi aplicați problemelor de regresie. Când scorurile pot lua doar câteva valori, pot fi utilizați și algoritmi de regresie ordinală și clasificare.
În abordarea pe perechi , învățarea ierarhizării se reduce la construirea unui clasificator binar, care primește două documente corespunzătoare aceleiași interogări ca intrare și este necesar să se determine care dintre ele este mai bun.
Exemple de algoritmi: [1] RankNet, FRank, RankBoost, RankSVM, IR-SVM.
Abordarea pe listă constă în construirea unui model, a cărui intrare sunt imediat toate documentele care se potrivesc interogării, iar rezultatul este permutarea acestora . Potrivirea parametrilor modelului este efectuată pentru a maximiza direct una dintre valorile de clasare de mai sus. Dar acest lucru este adesea dificil, deoarece metricile de clasare nu sunt de obicei continue și nediferențiabile în raport cu parametrii modelului de clasare, așa că recurg la maximizarea unor aproximări sau estimări mai mici ale acestora.
Exemple de algoritmi: [1] SoftRank, harta SVM , AdaRank, RankGP, ListNet, ListMLE.
Motoarele de căutare ale multor motoare de căutare moderne pe Internet, inclusiv Yandex , Yahoo [7] și Bing , folosesc modele de clasare construite prin metode de învățare automată. Căutarea Bing folosește algoritmul RankNet . [8] Cel mai nou algoritm de învățare automată de clasare dezvoltat și utilizat în motorul de căutare Yandex se numește MatrixNet; [9] Yandex însuși a sponsorizat competiția Internet Mathematics 2009 [10] pentru a construi un algoritm de clasare bazat pe propriul set de date.
Într-un interviu la începutul anului 2008, Peter Norvig , director de cercetare la Google , a declarat că motorul lor de căutare nu era încă pregătit să încredințeze complet clasamentul algoritmilor de învățare automată, invocând faptul că, în primul rând, modelele generate automat se pot comporta imprevizibil pe noi clase de interogări care nu sunt similare cu interogările din eșantionul de instruire, în comparație cu modelele create de experți umani. În al doilea rând, creatorii algoritmului actual de clasare Google sunt încrezători că modelul lor este, de asemenea, capabil să rezolve problemele mai eficient decât învățarea automată. [11] Primul motiv prezintă un interes mult mai semnificativ pentru noi, întrucât nu se întoarce doar la o problemă atât de cunoscută din logica inductivă, formulată de matematicianul german C.G. Hempel și în conflict cu intuiția (afirmația „toți corbii sunt negri” este echivalent logic cu „toate obiectele care nu sunt negri nu sunt corbi”), dar ne face și să revenim la o serie de probleme nerezolvate ale lui F. Rosenblatt, care a creat prima rețea neuronală capabilă de percepție și formarea unui răspuns la stimulul perceput - un perceptron cu un singur strat. [12] Pe baza criticii perceptronului elementar al lui Rosenblatt , putem înțelege întreaga vulnerabilitate a acestui model de rating, despre care ne vorbesc experții Google: sunt sisteme artificiale capabile să își generalizeze experiența individuală la o clasă largă de situații pentru care răspunsul a fost nu le-a fost comunicat în prealabil? Nu, experiența individuală a sistemelor artificiale în practică este întotdeauna limitată și niciodată completă. Într-un fel sau altul, instrumentele de învățare automată vă permit să rezolvați problema spamdexing-ului cu un grad destul de ridicat de eficiență. [13]
| Învățare automată și extragerea datelor | |
|---|---|
| Sarcini | |
| Învățarea cu un profesor | |
| analiza grupului | |
| Reducerea dimensionalității | |
| Prognoza structurală | |
| Detectarea anomaliilor | |
| Modele grafice probabilistice | |
| Rețele neuronale | |
| Consolidarea învățării |
|
| Teorie | |
| Reviste și conferințe |
|