出典 しゅってん : フリー百科 ひゃっか 事典 じてん 『ウィキペディア(Wikipedia)』
Apache Airflow は、データエンジニアリングパイプライン用 よう のオープンソース のワークフロー管理 かんり プラットフォーム である。2014年 ねん 10月 がつ [ 1] にAirbnb で開発 かいはつ が始 はじ まり、ますます複雑 ふくざつ 化 か する社内 しゃない のワークフローを管理 かんり するためのソリューションとして作 つく られた。Airflowを開発 かいはつ したことで、Airbnbはワークフローをプログラムで作成 さくせい ・スケジュールし、組 く み込 こ みのAirflowユーザーインターフェイス 経由 けいゆ でワークフローを監視 かんし できるようになった[ 2] [ 3] 。プロジェクトは当初 とうしょ からオープンソースとして公開 こうかい され、2016年 ねん 3月 がつ にはApache Incubator プロジェクトになり、2019年 ねん 1月 がつ にはトップレベルのApache Software Foundation プロジェクトになった。
AirflowはPython で書 か かれており、ワークフローはPythonスクリプト経由 けいゆ で作成 さくせい される。Airflowは「configuration as code」の原則 げんそく に基 もと づいて設計 せっけい されている。XML などのマークアップ言語 げんご を使用 しよう する「configuration as code」に基 もと づいたワークフロープラットフォームは他 ほか にも存在 そんざい するが、Pythonを使用 しよう することにより、開発 かいはつ 者 しゃ がライブラリとクラスをインポートして、ワークフローを容易 ようい に作成 さくせい できるようになっている。
Airflowは、ワークフローのオーケストレーションを管理 かんり するために、有向 ゆうこう 非 ひ 巡回 じゅんかい グラフ (DAG)を使用 しよう している。タスクとその依存 いぞん 関係 かんけい はPythonで定義 ていぎ され、Airflowはそのスケジューリングと実行 じっこう を管理 かんり する。DAGは、定義 ていぎ されたスケジュール(例 れい :1時 じ 間 あいだ 毎 ごと 、1日 にち 毎 ごと )や外部 がいぶ イベントのトリガー(例 れい :Hive 上 うえ でのファイルの作成 さくせい [ 4] )により実行 じっこう できる。従来 じゅうらい のOozie (英語 えいご 版 ばん ) やAzkabanなどのDAGベースのスケジューラは、複数 ふくすう の構成 こうせい ファイル やファイルシステムツリー に依存 いぞん する傾向 けいこう があったが、Airflowでは、通常 つうじょう 1つのPythonファイルとしてDAGを記述 きじゅつ できる[ 5] 。
コアのオープンソースプロジェクトに関 かん する補助 ほじょ サービスの提供 ていきょう 者 しゃ としては、3つのプロバイダーがよく知 し られている。Astronomer は、AirflowのSaaS ツールと、Kubernetes にデプロイ可能 かのう な、モニタリング・アラート・DevOps・クラスター管理 かんり を支援 しえん するAirflowスタックを提供 ていきょう している[ 6] 。Google Cloud Platform (GCP)は、プラットフォーム上 じょう で実行 じっこう されるAirflowのマネージドバージョンとして、Cloud Composerを提供 ていきょう しており、他 た のGCPサービスとよく統合 とうごう されている[ 7] 。Amazon Web Services は、2020年 ねん 11月からApache Airflowのマネージドワークフローを提供 ていきょう している[ 8] 。
^ “Apache Airflow ”. Apache Airflow . August 12, 2019時 じ 点 てん のオリジナル よりアーカイブ。September 30, 2019 閲覧 えつらん 。
^ Beauchemin (June 2, 2015). “Airflow: a workflow management platform ”. Medium . August 13, 2019時 じ 点 てん のオリジナル よりアーカイブ。September 30, 2019 閲覧 えつらん 。
^ “Airflow ”. July 6, 2019時 じ 点 てん のオリジナル よりアーカイブ。September 30, 2019 閲覧 えつらん 。
^ Trencseni, Marton (January 16, 2016). “Airflow review ”. BytePawn . February 28, 2019時 じ 点 てん のオリジナルよりアーカイブ 。October 1, 2019 閲覧 えつらん 。
^ “AirflowProposal ”. Apache Software Foundation (March 28, 2019). October 1, 2019 閲覧 えつらん 。
^ Lipp, Cassie (July 13, 2018). “Astronomer is Now the Apache Airflow Company ”. americaninno . September 18, 2019 閲覧 えつらん 。
^ “Google launches Cloud Composer, a new workflow automation tool for developers ” (英語 えいご ). TechCrunch . 2019年 ねん 9月 がつ 18日 にち 閲覧 えつらん 。
^ “Introducing Amazon Managed Workflows for Apache Airflow (MWAA) ” (英語 えいご ). Amazon Web Services (2020年 ねん 11月24日 にち ). 2020年 ねん 12月17日 にち 閲覧 えつらん 。