Flux de aer apache

Apache Airflow  este un software open source pentru crearea, executarea, monitorizarea și orchestrarea fluxurilor de lucru de procesare a datelor.

Dezvoltat inițial de Airbnb în octombrie 2014 [3] [4] . A devenit un proiect Apache Incubator în martie 2016 și a devenit un proiect de nivel superior Apache Software Foundation în ianuarie 2019, în ianuarie 2019.

Scrise în Python , fluxurile de lucru și dependențele lor sunt, de asemenea, codificate în Python într-un mod de configurare ca cod (spre deosebire de sisteme precum Oozie și Azkaban care folosesc fișiere de configurare [5] ). Fluxurile de lucru sunt orchestrate folosind o reprezentare Directed Acyclic Graph (DAG); un grup de operațiuni colectate într-un grafic poate fi lansat fie după un program specific (de exemplu, orar sau zilnic), fie printr-un eveniment (de exemplu, apariția unui fișier în Hive [6] ).

Airflow este un serviciu de abonament oferit de mulți furnizori publici de cloud , inclusiv Google Cloud Platform (Cloud Composer) [7] și Amazon Web Services (din noiembrie 2020) [8] .

Note

1. ↑ https://github.com/apache/airflow/releases/tag/2.4.0
2. ↑ https://airflow.incubator.apache.org/license.html
3. ↑ Apache Airflow . Apache Airflow . Consultat la 30 septembrie 2019. Arhivat la 12 august 2019. (nedefinit)
4. ↑ Flux de aer . Preluat la 30 septembrie 2019. Arhivat din original la 6 iulie 2019. (nedefinit)
5. ↑ AirflowProposal . Apache Software Foundation (28 martie 2019). Preluat la 1 octombrie 2019. Arhivat din original la 7 aprilie 2022. (nedefinit)
6. ↑ Trencseni, Marton Review of Airflow . BytePawn (16 ianuarie 2016). Data accesului: 1 octombrie 2019. Arhivat din original pe 28 februarie 2019. (nedefinit)
7. ↑ -automation-tool-for-developers/ Google lansează Cloud Composer, un nou instrument de automatizare a fluxului de lucru pentru dezvoltatori  . TechCrunch . Data accesului: 18 septembrie 2019.
8. ↑ -airflow-mwaa/ Introducere în fluxurile de lucru gestionate Amazon pentru Apache Airflow (MWAA  ) . Amazon Web Services (24 noiembrie 2020). Data accesului: 17 decembrie 2020.