Apache Spark

Apache Spark (din engleza  spark  - spark, flash) este un cadru open source pentru implementarea procesării distribuite a datelor nestructurate și semi-structurate, care face parte din ecosistemul de proiecte Hadoop . Spre deosebire de procesorul clasic din nucleul Hadoop, care implementează conceptul MapReduce pe două niveluri cu stocarea datelor intermediare pe unități, Spark funcționează în paradigma de calcul în memorie - procesează datele în RAM , datorită căruia vă permite să obțineți o valoare semnificativă. câștig de viteză pentru unele clase de probleme [7] , în special, posibilitatea de acces multiplu la datele utilizatorului încărcate în memorie face ca biblioteca să fie atractivă pentru algoritmii de învățare automată [8] .  

Proiectul oferă API- uri pentru Java , Scala , Python , R. Scris inițial în Scala , o cantitate substanțială de cod Java a fost adăugată de atunci pentru a permite scrierea programelor direct în Java. Constă dintr-un nucleu și mai multe extensii, cum ar fi Spark SQL (vă permite să executați interogări SQL pe date), Spark Streaming (un add-on pentru procesarea datelor în flux), Spark MLlib (un set de biblioteci de învățare automată), GraphX (conceput pentru procesarea grafică distribuită). Poate funcționa atât într-un mediu de cluster Hadoop care rulează YARN , cât și fără componente de bază Hadoop, acceptă mai multe sisteme de stocare distribuite - HDFS , OpenStack Swift , NoSQL -DBMS Cassandra , Amazon S3 .

Autorul cheie este informaticianul româno-canadian Matei Zaharia , care a început să lucreze la proiect în 2009 ca student absolvent la Universitatea din California din Berkeley .  În 2010, proiectul a fost publicat sub licență BSD , în 2013 a fost transferat la Apache Foundation și transferat la licența Apache 2.0 , în 2014 a fost acceptat ca proiect Apache de nivel superior. În 2022, proiectul a primit premiul anual SIGMOD la categoria Sisteme [9] .

Note

1. ↑ 1 2 3 4 5 6 7 https://projects.apache.org/json/projects/spark.json
2. ↑ Proiectul Apache-Spark Open Source pe Open Hub: Pagina de limbi - 2006.
3. ↑ Versiunea 3.3.0 - 2022.
4. ↑ 1 2 3 4 http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.DataFrameReader
5. ↑ 1 2 3 4 5 6 http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.DataFrameWriter
6. ↑ 1 2 https://spark.apache.org/docs/latest/sql-data-sources-avro.html
7. ↑ Xin, Reynold; Rosen, Josh; Zaharia, Matei; Franklin, Michael; Shenker, Scott; Stoica, Ion. Shark: SQL și analize bogate la scară  (engleză)  : jurnal. - 2013. - Iunie. Arhivat din original pe 9 august 2017.
8. ↑ Matei Zaharia. Spark: Cluster Computing în memorie pentru aplicații iterative și interactive . Arhivat pe 15 iunie 2016 la Wayback Machine
9. ↑ Premiul SIGMOD Systems 2022 . ACM (10 mai 2022). Preluat la 27 mai 2022. Arhivat din original la 15 iunie 2022. (nedefinit)

Literatură

• H. Karau, E. Konwinski, P. Wendell, M. Zachariah. Învățare Spark. Analiza datelor Lightning = Learning Spark: Big Data Analytics rapid fulger (O'Reilly, 2015). - DMK Press , 2015. - 304 p. — ISBN 978-5-97060-323-9 .
• S. Riza, W. Leatherson, S. Owen, D. Wills. Spark pentru profesioniști: modele moderne de procesare a datelor mari = Advanced Analytics with Spark. Modele pentru învățarea din date la scară (O'Reilly, 2015). - Peter , 2017. - 272 p. - ISBN 978-5-496-02401-3 .
• Warren R., Karau H. Efficient Spark. Scalare și optimizare = Spark de înaltă performanță. Cele mai bune practici pentru scalarea și optimizarea Apache Spark. - Petru, 2018. - 352 p. — ISBN 978-5-4461-0705-6 .

Link -uri

• spark.apache.org - site-ul oficial Apache Spark

Site-uri tematice	hub deschis