(Translated by https://www.hiragana.jp/)
Apache Airflow - Wikipedia コンテンツにスキップ

Apache Airflow

出典しゅってん: フリー百科ひゃっか事典じてん『ウィキペディア(Wikipedia)』
Apache Airflow
Apache Airflow logo
作者さくしゃ Maxime Beauchemin / Airbnb
開発元かいはつもと Apache Software Foundation
初版しょはん 2015ねん6がつ3にち (9ねんまえ) (2015-06-03)
リポジトリ ウィキデータを編集
プログラミング
言語げんご
Python
対応たいおうOS WindowsmacOSLinux
対応たいおう言語げんご Python
種別しゅべつ ワークフロー管理かんりプラットフォーム英語えいごばん
ライセンス Apache License 2.0
公式こうしきサイト airflow.apache.org
テンプレートを表示ひょうじ

Apache Airflowは、データエンジニアリングパイプラインようオープンソースワークフロー管理かんりプラットフォームである。2014ねん10がつ[1]Airbnb開発かいはつはじまり、ますます複雑ふくざつする社内しゃないのワークフローを管理かんりするためのソリューションとしてつくられた。Airflowを開発かいはつしたことで、Airbnbはワークフローをプログラムで作成さくせい・スケジュールし、みのAirflowユーザーインターフェイス経由けいゆでワークフローを監視かんしできるようになった[2][3]。プロジェクトは当初とうしょからオープンソースとして公開こうかいされ、2016ねん3がつにはApache Incubatorプロジェクトになり、2019ねん1がつにはトップレベルのApache Software Foundationプロジェクトになった。

AirflowはPythonかれており、ワークフローはPythonスクリプト経由けいゆ作成さくせいされる。Airflowは「configuration as code」の原則げんそくもとづいて設計せっけいされている。XMLなどのマークアップ言語げんご使用しようする「configuration as code」にもとづいたワークフロープラットフォームはほかにも存在そんざいするが、Pythonを使用しようすることにより、開発かいはつしゃがライブラリとクラスをインポートして、ワークフローを容易ようい作成さくせいできるようになっている。

概要がいよう

[編集へんしゅう]

Airflowは、ワークフローのオーケストレーションを管理かんりするために、有向ゆうこう巡回じゅんかいグラフ(DAG)を使用しようしている。タスクとその依存いぞん関係かんけいはPythonで定義ていぎされ、Airflowはそのスケジューリングと実行じっこう管理かんりする。DAGは、定義ていぎされたスケジュール(れい:1あいだごと、1にちごと)や外部がいぶイベントのトリガー(れいHiveうえでのファイルの作成さくせい[4])により実行じっこうできる。従来じゅうらいOozie英語えいごばんやAzkabanなどのDAGベースのスケジューラは、複数ふくすう構成こうせいファイルファイルシステムツリー依存いぞんする傾向けいこうがあったが、Airflowでは、通常つうじょう1つのPythonファイルとしてDAGを記述きじゅつできる[5]

マネージドサービス

[編集へんしゅう]

コアのオープンソースプロジェクトにかんする補助ほじょサービスの提供ていきょうしゃとしては、3つのプロバイダーがよくられている。Astronomerは、AirflowのSaaSツールと、Kubernetesにデプロイ可能かのうな、モニタリング・アラート・DevOps・クラスター管理かんり支援しえんするAirflowスタックを提供ていきょうしている[6]Google Cloud Platform(GCP)は、プラットフォームじょう実行じっこうされるAirflowのマネージドバージョンとして、Cloud Composerを提供ていきょうしており、のGCPサービスとよく統合とうごうされている[7]Amazon Web Servicesは、2020ねん11月からApache Airflowのマネージドワークフローを提供ていきょうしている[8]

出典しゅってん

[編集へんしゅう]
  1. ^ Apache Airflow”. Apache Airflow. August 12, 2019てんオリジナルよりアーカイブ。September 30, 2019閲覧えつらん
  2. ^ Beauchemin (June 2, 2015). “Airflow: a workflow management platform”. Medium. August 13, 2019てんオリジナルよりアーカイブ。September 30, 2019閲覧えつらん
  3. ^ Airflow”. July 6, 2019てんオリジナルよりアーカイブ。September 30, 2019閲覧えつらん
  4. ^ Trencseni, Marton (January 16, 2016). “Airflow review”. BytePawn. February 28, 2019てんのオリジナルよりアーカイブOctober 1, 2019閲覧えつらん
  5. ^ AirflowProposal”. Apache Software Foundation (March 28, 2019). October 1, 2019閲覧えつらん
  6. ^ Lipp, Cassie (July 13, 2018). “Astronomer is Now the Apache Airflow Company”. americaninno. September 18, 2019閲覧えつらん
  7. ^ Google launches Cloud Composer, a new workflow automation tool for developers” (英語えいご). TechCrunch. 2019ねん9がつ18にち閲覧えつらん
  8. ^ Introducing Amazon Managed Workflows for Apache Airflow (MWAA)” (英語えいご). Amazon Web Services (2020ねん11月24にち). 2020ねん12月17にち閲覧えつらん

外部がいぶリンク

[編集へんしゅう]