Procesor neuronal

Un procesor neuronal ( ing.  Neural Processing Unit , NPU sau AI accelerator ing.  AI accelerator ) este o clasă specializată de microprocesoare și coprocesoare (deseori fiind un circuit integrat specializat ), utilizată pentru accelerarea hardware a algoritmilor rețelei neuronale artificiale , viziunea computerizată , vocea recunoaștere , învățare automată și alte metode de inteligență artificială [1] .

Descriere

Procesoarele neuronale sunt legate de calcul și sunt utilizate pentru accelerarea hardware a emulării rețelei neuronale și procesarea semnalului digital în timp real . De regulă, neuroprocesorul conține registre , blocuri de memorie push-pull , un comutator și un dispozitiv de calcul care conține o matrice de multiplicare , decodoare , flip- flops și multiplexoare [2] .

În stadiul actual (din 2017), clasa de procesoare neuronale poate include tipuri de cipuri de design și specializare diferite , de exemplu:

• Procesoarele neuromorfe  sunt construite pe o arhitectură asincronă de cluster dezvoltată la Universitatea Cornell (în mod fundamental diferită de arhitecturile computerizate von Neumann și Harvard utilizate în industria IT în ultimii 70 de ani). Spre deosebire de arhitecturile de calcul tradiționale, logica procesoarelor neuromorfe este inițial foarte specializată pentru crearea și dezvoltarea diferitelor tipuri de rețele neuronale artificiale . Dispozitivul folosește tranzistori obișnuiți , din care sunt construite nucleele de calcul (fiecare nucleu, de regulă, conține un planificator de sarcini, propria memorie SRAM și un router pentru comunicarea cu alte nuclee), fiecare dintre nuclee emulează munca a câteva sute. neuronii și, astfel, un circuit integrat care conține câteva mii de astfel de nuclee poate recrea algoritmic o serie de câteva sute de mii de neuroni și un ordin de mărime mai multe sinapse . De regulă, astfel de procesoare sunt folosite pentru algoritmi de învățare automată profundă [3] .
• Procesoare tensoare  - dispozitivele, de regulă, sunt coprocesoare controlate de procesorul central , care operează cu tensori  - obiecte care descriu transformarea elementelor unui spațiu liniar în altul și pot fi reprezentate ca șiruri multidimensionale de numere [4] , care sunt procesate folosind astfel de biblioteci de software , cum ar fi, de exemplu, TensorFlow . Acestea sunt de obicei echipate cu propria lor RAM încorporată și funcționează cu numere de biți mici (8 biți) și sunt foarte specializate pentru a efectua operațiuni precum multiplicarea matricei și convoluția , utilizate pentru a emula rețele neuronale convoluționale , care sunt utilizate pentru mașini. probleme de învățare [5] .
• Procesoare de viziune artificială  - Similare în multe privințe cu procesoarele tensor, dar sunt foarte specializate pentru a accelera algoritmii de viziune artificială care utilizează tehnici de rețea neuronală convoluțională (CNN) și de transformare a caracteristicilor invariante la scară (SIFT). Aceștia pun foarte mult accent pe paralelizarea fluxului de date pe mai multe nuclee de execuție , inclusiv pe utilizarea modelului scratchpad . - la fel ca în procesoarele de semnal digital multi-core , și ele, ca și procesoarele tensor, sunt folosite pentru calcule cu precizie scăzută, adoptate în procesarea imaginilor [6] .

Istorie

Aplicații

• Vehicul fără pilot - de exemplu, seria Drive PX  își dezvoltă plăcile în această direcțieNvidia [ 7] [8] .
• Vehicul aerian fără pilot  - de exemplu, un sistem de navigație bazat pe cipuri Movidius Myriad 2gestionează cu succes vehicule aeriene autonome fără pilot [9] .
• Diagnostice în domeniul sănătății .
• Traducere automată .
• Procesarea limbajului natural .
• Motor de căutare  - NPU-urile cresc eficiența energetică a centrelor de date și permit interogări din ce în ce mai complexe.
• Robot industrial  - NPU-urile vă permit să extindeți gama de sarcini care pot fi automatizate prin adăugarea de adaptabilitate la situații în schimbare.
• Recunoașterea vocii  - de exemplu, în telefoanele mobile care utilizează tehnologia Qualcomm Zeroth[zece]
• Robot agricol  - de exemplu, combaterea buruienilor fără utilizarea de substanțe chimice [11] .

Exemple

Produse existente

• Procesoare de viziune artificială :
  • Intel Movidius Myriad 2, care este un accelerator AI multi-core bazat pe arhitectura VLIW cu noduri augmentate dedicate procesării video [6] .
  • Mobileye EyeQ este un procesor specializat care accelerează procesarea algoritmilor de viziune artificială pentru utilizare într- un vehicul fără pilot [12] .
• procesoare tensor :
  • Google TPU ( ing.  Tensor Processing Unit ) - prezentat ca un accelerator pentru sistemul Google TensorFlow , care este utilizat pe scară largă pentru rețelele neuronale convoluționale. Concentrat pe o cantitate mare de aritmetică de precizie de 8 biți [5] .
  • Huawei Ascend 310 / Ascend 910 sunt primele două cipuri optimizate AI din linia Huawei Ascend [13] .
  • Intel Nervana NNP( ing.  Neural Network Processor ) este primul procesor tensor disponibil comercial conceput pentru construirea de rețele de deep learning [14] , Facebook a fost partener în procesul său de proiectare [15] [16] .
  • Qualcomm Cloud AI 100 este un accelerator de inteligență artificială conceput pentru a fi utilizat ca parte a platformelor cloud care acceptă bibliotecile software PyTorch , Glow , TensorFlow , Keras și ONNX [17] .
• Procesoare neuromorfe :
  • IBM TrueNorth  este un procesor neuromorf construit pe principiul interacțiunii dintre neuroni , mai degrabă decât pe baza aritmetică tradițională. Frecvența pulsului reprezintă intensitatea semnalului. Începând cu 2016, nu există un consens în rândul cercetătorilor AI dacă aceasta este calea corectă [18] , dar unele rezultate sunt promițătoare, cu economii mari de energie demonstrate pentru sarcinile de viziune artificială [19] .
• Adapteva Bobotează - conceput ca un coprocesor, include un model de memorie notepad rețele pe un cip, abordează modelul de programare a fluxului de informații, care ar trebui să fie potrivit pentru multe probleme de învățare automată.
• Placă ComBox x64 Movidius PCIe Blade - Placă de expansiune PCI Express cu densitate maximă de VPU Intel Movidius (MyriadX) pentru deducerea rețelelor neuronale ultra-precise în centrul de date
• CambriconMLU100 este o placă de expansiune PCI Express cu procesor AI de jumătate de precizie de 64 TFLOPS sau 128 TOPS pentru calcule INT8 [20] .
• Cerebras Wafer Scale Engine (WSE, CS-1) - Superprocesorul experimental al Cerebras , conține 1,2 trilioane de tranzistori organizați în 400.000 de nuclee de calcul optimizate pentru AI și 18 GB de SRAM distribuită local , toate conectate printr-o rețea mesh cu performanță totală de 100 de petabiți pe secundă . Cipul Cerebras este de fapt un supercalculator pe un cip, unde nucleele de calcul SLAC (Sparse Linear Algebra Cores) sunt complet programabile și pot fi optimizate pentru a funcționa cu orice rețele neuronale [21] .
• KnuPath - Procesor KnuEdge, conceput pentru a funcționa în sistemele de recunoaștere a vorbirii și în alte domenii ale învățării automate, folosește tehnologia conectorului LambdaFabric și vă permite să combinați până la 512 mii de procesoare într-un singur sistem [22] .

Produse GPU

• Nvidia Tesla este o serie de produse GPGPU  dedicate de la Nvidia [23] :
  • Nvidia Volta - procesoarele grafice (GPU) ale arhitecturii Volta (2017) de la Nvidia (cum ar fi Volta GV100), conțin până la 640 de nuclee speciale pentru calculul tensorului [1] .
  • Nvidia Turing - GPU-urile cu arhitectură Turing (2018) de la Nvidia (cum ar fi Nvidia TU104), conțin până la 576 de nuclee speciale pentru calculul tensorului [24] .
  • Nvidia DGX-1 - un server specializat format din 2 procesoare centrale si 8 GPU-uri Nvidia Volta GV100(5120 nuclee tensor) conectate prin intermediul magistralei rapide NVLink [25] . Arhitectura memoriei dedicateacest sistem este deosebit de potrivit pentru construirea de rețele de deep learning [26] [27] .
• AMD Radeon Instinct este o placă AMD GPGPU specializată oferită ca accelerator pentru sarcinile de deep learning [28] [29] .

Acceleratoare AI sub formă de coprocesoare interne (unități hardware AI)

• Cambricon-1A este un bloc NPU din cipurile Huawei Kirin 970 ARM dezvoltate de Cambricon Technologies[30] .
• CEVANeuPro este o familie de procesoare AI de deep learning licențiate de la CEVA, Inc.[31] .
• Neural Engine  este un accelerator AI în interiorul cipurilor Apple A11 Bionic și A12 Bionic SoC ARM [32] .
• PowerVR 2NX NNA (Neural Network Accelerator) este o familie de module IP licențiate pentru învățarea automată de la Imagination Technologies [33] .

Produse de cercetare și dezvoltare

• Institutul Indian de Tehnologie Madrasdezvoltă un accelerator bazat pe neuroni de impuls pentru noi sisteme de arhitectură RISC-V care vizează procesarea datelor mari pe sistemele server [34] .
• eyeriss - dezvoltare axată pe rețelele neuronale convoluționale folosind memoria notebook-ului și arhitectura de rețea în cadrul cristalului.
• Fujitsu DLUeste un coprocesor Fujitsu  multi-bloc și multi-core care utilizează calcule de precizie scăzută și este proiectat pentru învățarea automată profundă [35] .
• Intel Loihieste procesorul  neuromorf de la Intel care combină învățarea, formarea și luarea deciziilor într-un singur cip, permițând sistemului să fie autonom și „inteligent” fără a fi conectat la cloud . De exemplu, atunci când se antrenează cu baza de date MNIST (Mixed National Institute of Standards and Technology), procesorul Loihi este de 1 milion de ori mai bun decât alte rețele neuronale tipice cu vârfuri [36] .
• Kalray — a arătat MPPA[37] și a raportat o creștere a eficienței rețelelor neuronale convoluționale în comparație cu GPU -urile .
• SpiNNaker  este o arhitectură de calcul masiv paralelă care combină nucleele unei arhitecturi ARM tradiționale cu un cadru de rețea avansat specializat pentru simularea rețelelor neuronale mari.
• NPU zero este o dezvoltare a Qualcomm care vizează direct aducerea capacităților de recunoaștere a vorbirii și a imaginilor pe dispozitivele mobile [38] .
• IVA TPU este un procesor tensor dezvoltat de compania rusă IVA Technologies [39] [40] . În octombrie 2020, rezultatele [41] [42] testării arhitecturii acceleratorului rețelei neuronale IVA TPU, realizată de consorțiul internațional MLPerf (înființat în 2018 de Baidu , Google , Harvard University , Stanford University , University of California, Berkeley). ) au fost publicate.

Note

1. ↑ 1 2 Popularitatea învățării automate influențează evoluția arhitecturii procesorului . servernews. (31 august 2017). Consultat la 17 noiembrie 2017. Arhivat din original pe 17 noiembrie 2017. (nedefinit)
2. ↑ Neuroprocesor, dispozitiv pentru calcularea funcțiilor de saturație, dispozitiv de calcul și sumator . FindPatent.RU. Consultat la 17 noiembrie 2017. Arhivat din original la 1 decembrie 2017. (Rusă)
3. ↑ IBM a furnizat LLNL neuroprocesoare TrueNorth pentru 1 milion de dolari . Computerra . (31 martie 2016). Consultat la 17 noiembrie 2017. Arhivat din original pe 19 noiembrie 2017. (Rusă)
4. ↑ Intel dezvoltă procesoare tensor pentru AI . Săptămâna PC /RE. (22 noiembrie 2016). Consultat la 17 noiembrie 2017. Arhivat din original la 1 decembrie 2017. (Rusă)
5. ↑ 1 2 Detalii despre coprocesorul Google TPU Tensor . servernews. (25 august 2017). Consultat la 17 noiembrie 2017. Arhivat din original pe 17 noiembrie 2017. (Rusă)
6. ↑ 1 2 Intel anunță procesorul Movidius Myriad X Vision . 3DNews . (29 august 2017). Consultat la 17 noiembrie 2017. Arhivat din original pe 17 noiembrie 2017. (Rusă)
7. ↑ Nvidia Drive PX: Supercomputer AI scalabil pentru conducere autonomă . Nvidia . Consultat la 17 noiembrie 2017. Arhivat din original la 16 iulie 2016.  (nedefinit)  (Engleză)
8. ↑ NVIDIA dezvăluie Drive PX Pegasus, platforma de pilot automat de nouă generație . 3DNews (10 octombrie 2017). Consultat la 17 noiembrie 2017. Arhivat din original pe 17 noiembrie 2017.  (nedefinit)  (Rusă)
9. ↑ Movidius alimentează cea mai inteligentă dronă din lume . Data accesului: 15 noiembrie 2017. Arhivat din original pe 9 august 2016.  (nedefinit)  (Engleză)
10. ↑ Qualcomm Research aduce învățarea automată de tip server pe dispozitivele de zi cu zi . Consultat la 15 noiembrie 2017. Arhivat din original la 8 august 2016.  (nedefinit)  (Engleză)
11. ↑ Proiectarea unui sistem de viziune artificială pentru controlul buruienilor (link inaccesibil) . Consultat la 15 noiembrie 2017. Arhivat din original la 23 iunie 2010.  (nedefinit)   (Engleză)
12. ↑ Evoluția EyeQ . Consultat la 18 noiembrie 2017. Arhivat din original la 7 decembrie 2017. (nedefinit)
13. ↑ Huawei a creat primele procesoare AI din lume, urmând calea dezvoltatorilor Elbrus , CNews  (23 octombrie 2018). Arhivat din original pe 23 octombrie 2018. Preluat la 24 octombrie 2018.
14. ↑ Înainte de sfârșitul anului, Intel va lansa „primul cip din industrie pentru procesarea rețelelor neuronale” - Intel Nervana Neural Network Processor . iXBT.com (18 octombrie 2017). Consultat la 21 noiembrie 2017. Arhivat din original la 15 noiembrie 2017. (Rusă)
15. ↑ Intel dezvăluie un procesor de rețea neuronal special creat pentru învățarea profundă , Tech Report (17 octombrie 2017). Arhivat din original pe 24 noiembrie 2017. Preluat la 17 noiembrie 2017.
16. ↑ Intel Nervana Neural Network Processors (NNP) Redefine AI Silicon  (17 octombrie 2017). Arhivat din original pe 20 octombrie 2017. Preluat la 17 noiembrie 2017.
17. ↑ Qualcomm a introdus acceleratorul de inteligență artificială Cloud AI 100 , Servernews.ru  (10 aprilie 2019). Arhivat din original pe 10 aprilie 2019. Preluat la 16 aprilie 2019.
18. ↑ Jan LeKun pe IBM TrueNorth . Consultat la 15 noiembrie 2017. Arhivat din original la 5 iulie 2015.  (nedefinit)  (Engleză)
19. ↑ IBM deschide o nouă eră a calculului neuromorf . - „TrueNorth este incredibil de eficient: Cipul consumă doar 72 de miliwați la sarcina maximă, ceea ce echivalează cu aproximativ 400 de miliarde de operații sinaptice pe secundă pe watt - sau de aproximativ 176.000 de ori mai eficient decât un procesor modern care rulează aceeași sarcină de lucru asemănătoare creierului, sau 769. ori mai eficiente decât alte abordări neuromorfe de ultimă generație”. Consultat la 15 noiembrie 2017. Arhivat din original pe 9 iulie 2016.  (nedefinit)  (Engleză)
20. ↑ Compania chineză Cambricon dezvoltă cipuri AI pentru centrele de date. (link indisponibil) . Consultat la 15 iunie 2018. Arhivat din original la 16 iunie 2018. (nedefinit) 
21. ↑ Cerebras este un procesor AI de dimensiuni și putere incredibile . 3DNews . (20 august 2019). Preluat la 21 august 2019. Arhivat din original la 20 august 2019. (nedefinit)
22. ↑ KnuPath este un procesor neuromorf de calitate militară . 3DNews . (9 iunie 2016). Consultat la 17 noiembrie 2017. Arhivat din original pe 17 noiembrie 2017. (nedefinit)
23. ↑ Computex: șeful Nvidia nu vede nicio amenințare în procesorul tensor al Google . „ Sisteme deschise ”. (1 iunie 2016). Consultat la 17 noiembrie 2017. Arhivat din original la 1 decembrie 2017. (nedefinit)
24. ↑ Ce va aduce noua arhitectură NVIDIA Turing pe piață? . 3DNews. (14.08.2018). Preluat la 17 august 2018. Arhivat din original la 23 martie 2019. (nedefinit)
25. ↑ Era NVIDIA Volta a început cu acceleratorul Tesla V100 . servernews. (11 mai 2017). Consultat la 17 noiembrie 2017. Arhivat din original la 1 decembrie 2017. (nedefinit)
26. ↑ GTC Europe 2017: Biblioteca NVIDIA TensorRT 3 accelerează rețelele neuronale de 18 ori comparativ cu o soluție universală . servernews. (12 octombrie 2017). Consultat la 17 noiembrie 2017. Arhivat din original pe 17 noiembrie 2017. (nedefinit)
27. ↑ Noul supercomputer rusesc conceput pentru a antrena rețele neuronale . servernews. (1 septembrie 2017). Consultat la 17 noiembrie 2017. Arhivat din original pe 17 noiembrie 2017. (nedefinit)
28. ↑ AMD anunță Radeon Instinct: GPU Accelerators for Deep Learning, disponibile în 2017 , Anandtech (12 decembrie 2016). Arhivat din original pe 12 decembrie 2016. Preluat la 12 decembrie 2016.
29. ↑ GPU-urile Radeon Instinct Machine Learning includ Vega, Preview Performance , PC Per (12 decembrie 2016). Arhivat din original pe 11 august 2017. Preluat la 12 decembrie 2016.
30. ↑ Huawei dezvăluie viitorul AI mobil la IFA 2017. . Consultat la 15 iunie 2018. Arhivat din original la 16 iunie 2018. (nedefinit)
31. ↑ CEVA NeuPro. O familie de procesoare AI pentru Deep Learning at the Edge. . Consultat la 15 iunie 2018. Arhivat din original la 16 iunie 2018. (nedefinit)
32. ↑ Noul motor neuronal al iPhone X exemplifica abordarea Apple a AI , The Verge  (13 septembrie 2017). Arhivat din original pe 15 septembrie 2017. Preluat la 17 noiembrie 2017.
33. ↑ Imagination Deveils New PowerVR 2NX AI Accelerators , 3DNews  (8 iunie 2018). Arhivat din original pe 16 iunie 2018. Preluat la 15 iunie 2018.
34. ↑ India pregătește procesoarele RISC-V - Shakti vizează servere, IoT, analize (downlink) . - „Proiectul Shakti include acum planuri pentru cel puțin șase modele de microprocesoare, precum și materiale asociate și un cip accelerator”. Consultat la 15 noiembrie 2017. Arhivat din original la 3 iulie 2017.  (nedefinit)   (Engleză)
35. ↑ Fujitsu dezvoltă procesoare personalizate pentru sistemele AI . servernews. (24 iulie 2017). Consultat la 17 noiembrie 2017. Arhivat din original pe 17 noiembrie 2017. (nedefinit)
36. ↑ Intel dezvăluie procesorul neuromorf Loihi . 3DNews . (26 septembrie 2017). Consultat la 17 noiembrie 2017. Arhivat din original pe 17 noiembrie 2017. (nedefinit)
37. ↑ Kalray MPPA . Consultat la 15 noiembrie 2017. Arhivat din original la 23 aprilie 2016.  (nedefinit)  (Engleză)
38. ↑ Qualcomm a arătat neuroprocesorul Zeroth . Logmag.net (16 octombrie 2013). Consultat la 17 noiembrie 2017. Arhivat din original pe 17 noiembrie 2017. (nedefinit)
39. ↑ lume încorporată. IVA TPU – accelerator de inferență DNN // Arhitectura NeuroMatrix pentru aplicații de rețea neuronală |  lume încorporată . www.embedded-world.de _ Consultat la 30 noiembrie 2020. Arhivat din original la 21 ianuarie 2021.
40. ↑ În Rusia a fost creată o arhitectură originală de procesor care poate elimina NVidia . cnews.ru . Preluat la 30 noiembrie 2020. Arhivat din original la 25 noiembrie 2020. (nedefinit)
41. ↑ Rezultate de inferență  . MLPerf . Consultat la 30 noiembrie 2020. Arhivat din original pe 28 noiembrie 2020.
42. ↑ Sally Ward-Foxton.  Benchmark-ul de învățare automată extinde suportul pentru încărcăturile de lucru din centrele de date marginale  ? . Embedded.com (3 noiembrie 2020). Preluat la 30 noiembrie 2020. Arhivat din original la 25 noiembrie 2020.  (nedefinit)

Link -uri

• Popularitatea învățării automate influențează evoluția arhitecturii procesorului . servernews. (31 august 2017). Data accesului: 17 noiembrie 2017. (Rusă)