AlphaStar este un joc StarCraft II dezvoltat de DeepMind în colaborare cu Blizzard Entertainment și a fost primul AI care a atins nivelul celor mai buni jucători dintr-o disciplină de sport fără restricții speciale. Proiectul a fost anunțat în 2016. La sfârșitul anului 2018, au avut loc o serie de meciuri de testare împotriva jucătorilor profesioniști, care s-au încheiat cu o victorie clară pentru AI, iar în 2019 AlphaStar a luat parte la modul clasat StarCraft II , în urma căruia a atins cel mai înalt nivel în rangul de joc al ligii - mare maestru.
AlphaStar este o rețea neuronală artificială care a fost creată folosind metode de învățare profundă - cu întărire și cu un profesor (înregistrările de jocuri ale oamenilor reali furnizate de Blizzard Entertainment au fost folosite ca set de date de antrenament) [1] . De asemenea, în timpul jocului, sunt folosite date statistice despre modul în care oamenii vii au acționat în situația actuală [2] . Rețeaua neuronală primește ca intrare un set de mini-hărți cu diverse filtre generate de API și construiește un lanț de acțiuni ulterioare pe baza acestora [3] .
La BlizzCon 2016, a fost anunțat un proiect comun între Blizzard Entertainment și DeepMind pentru a crea inteligență artificială pentru a juca StarCraft II . Ca parte a colaborării, Blizzard a început să dezvolte un set de instrumente software care permit inteligenței artificiale terță parte să interacționeze pe deplin cu jocul și, de asemenea, a furnizat DeepMind înregistrări ale tuturor meciurilor online jucate de oameni în direct ca date de antrenament [4] . În august 2017, s-au finalizat lucrările la un API deschis pentru StarCraft II ca aplicație pentru sistemele de operare Linux care oferă acces la informații despre joc, inclusiv contul de joc, care este disponibil jucătorului doar după încheierea jocului. În loc să deseneze grafica jocului, aplicația generează un set de mini-hărți cu diverse filtre, care ar trebui să fie intrare cadru cu cadru pentru inteligența artificială, care calculează secvența acțiunilor ulterioare pe baza acestora. De asemenea, a fost implementată capacitatea de a conduce bătălii între mai mulți roți în modul offline și au fost create o serie de scenarii de antrenament, cum ar fi colectarea de resurse, mutarea unităților, construirea de clădiri și altele. DeepMind a lansat o bibliotecă Python care leagă StarCraft II și implementările de învățare automată [3] . Un preprint a fost publicat pe blogul DeepMind, raportând primele rezultate. Versiunea de inteligență artificială care exista la acel moment a pierdut în fața AI luminii încorporate în marea majoritate a cazurilor, iar cazurile rare de remize au fost cauzate de o limită artificială prestabilită a duratei jocului la 30 de minute. DeepMind AI a învățat să folosească capacitatea structurilor terene de a zbura în sus și de a se deplasa în jurul hărții pentru a evita armata adversarului și a aduce jocul la egalitate [5] .
După ce a fost antrenat folosind înregistrări ale jocurilor umane live, rețeaua neuronală a învățat să depășească cea mai complexă IA încorporată disponibilă în 95% din timp. Versiunea rezultată a inteligenței artificiale s-a jucat cu ea însăși timp de 14 zile în timp real, echivalentul a 200 de ani de joc StarCraft II. Inițial, inteligența artificială DeepMind a folosit în mod activ rush , încercând să obțină o victorie rapidă prin construirea unui număr mare de unități relativ ieftine, dar de-a lungul timpului a învățat să evite astfel de atacuri și să acorde atenție altor aspecte ale jocului, inclusiv dezvoltării economice [ 6] [1] . Pe lângă versiunea principală a inteligenței artificiale, în timpul procesului de antrenament, au fost dezvoltați „jucători asistenți”, a căror sarcină a fost să vină cu strategii de atac creative și neobișnuite. Procentul lor de câștig a fost scăzut, dar au ajutat la o mai bună pregătire a inteligenței artificiale [2] .
Pe 19 decembrie 2018, au avut loc o serie de meciuri de testare între o versiune dezvoltată a inteligenței artificiale, numită AlphaStar, și sportivii cibernetici Dario „TLO” Wunsch și Grzegorz „MaNa” Komnich , într-un meci PvP (protoss contra protoss) [7] . AlphaStar a învins fiecare dintre sportivii cibernetici cu un scor de 5:0. Inteligența artificială avea un avantaj: în timp ce un om vedea doar ceea ce se întâmplă pe ecran, AlphaStar vedea întreaga hartă. Meciul fără punctaj împotriva lui MaNa, în care AlphaStar a jucat cu limitarea obișnuită a zonei vizibile, rețeaua neuronală a pierdut, cu toate acestea, dezvoltatorii notează că rețeaua neuronală s-a antrenat în acest mod doar o săptămână [1] . În plus, din moment ce inteligența artificială din acel moment putea juca doar într-o confruntare PvP, TLO trebuia să joace ca protoss, și nu ca rasa lor principală, Zerg [7] .
În iulie 2019, AlphaStar a început să joace în mod anonim meciuri clasificate împotriva jucătorilor live care au permis jocul AI în interfața jocului. Metoda de selectare a adversarilor pentru inteligența artificială și algoritmul de calculare a ratingului acesteia a fost similară cu cele pentru jucătorii live. AlphaStar a fost mai limitat decât a fost în decembrie, AI putând să vadă doar ce se întâmplă într-o zonă mică în mișcare, similară camerei jucătorului, și au fost plasate limite mai mari asupra numărului de acțiuni pe minut (APM). Această versiune a inteligenței artificiale ar putea juca pentru toate cele trei curse în toate cele nouă meciuri [8] . Drept urmare, AlphaStar a atins cel mai înalt rang de joc - grandmaster, care este deținut de primii 200 de jucători din regiune (aproximativ 0,2%) - pentru toate cele trei curse [9] . David Silver, cercetător la DeepMind, observă că AlphaStar a fost primul AI care a atins nivelul celor mai buni jucători într-o disciplină de sport fără restricții speciale [10] .
La festivalul BlizzCon 2019 , a fost instalat un computer pentru ca oricine să poată juca împotriva AlphaStar. Printre cei care au jucat s-a numărat și campioana mondială Joona „Serral” Sotala , al cărei joc împotriva inteligenței artificiale s-a încheiat cu o înfrângere cu 1-3. Acest rezultat nu poate fi considerat grav, deoarece, în primul rând, Serral a folosit dispozitive periferice neobișnuite, iar în al doilea rând, meciul nu a fost organizat special și s-a desfășurat din inițiativa personală a lui Joona [11] .
În ciuda faptului că dezvoltatorii au limitat numărul de acțiuni pe minut la o valoare realizabilă de către un om, AlphaStar rămâne neobișnuit de rapid pentru un om, deoarece o persoană folosește ordine repetitive atunci când joacă și poate face acțiuni impulsive eruptive care nu contează, în timp ce toate acțiunile AI rămân precise. Așadar, într-o luptă cu un număr mare de unități, AlphaStar reușește să dea comenzi individuale fiecărei unități de luptă cu viteză și precizie inaccesibile unei persoane în viață [12] [13] . Comentatorul Aleksey „Alex007” Trushlyakov mai notează că inteligența artificială nu înțelege semnificația unor trucuri ale jucătorilor în direct și nu le copia întotdeauna corect [14] .