Jaql

Jaql (JAQL) はJSONで格納かくのうされたビッグデータに対たいする問とい合あわせ処理しょりを目的もくてきとした、関数かんすう型がたデータ処理しょりおよびクエリ言語げんごである。

Google^[1]のオープンソースプロジェクトとして開始かいしされたが、最新さいしんのリリースは2010年ねん7月がつ12日にち. IBM^[2]はBigInsightsというHadoopソフトウェア・パッケージの処置しょち言語げんごとして、Jaqlを採用さいようした。

また、JSON のみならず CSV、TSV、XMLなどにも対応たいおうする。

A^[3] によると、PIG Latin and Hive QL などの他ほかの問とい合あわせ言語げんごに比くらべても、遜色そんしょくのないパフォーマンスを打うち出だしている。

JAQLは^[4] 遅延ちえん評価ひょうかを採用さいようしている。

文法ぶんぽう

JAQLの基本きほん的てきな文法ぶんぽう

source -> operator(parameter) -> sink ;

ここでsinkは演算えんざん元もとともなり得える。したがって、通常つうじょう、JAQLプログラムは、データ処理しょりグラフを表現ひょうげんして、次つぎの構造こうぞうをとる必要ひつようがある。

source -> operator1(parameter) -> operator2(parameter) -> operator2(parameter) -> operator3(parameter) -> operator4(parameter) -> sink ;

一般いっぱん的てきには以下いかのように、矢印やじるしの後のちにJAQLプログラムを改行かいぎょうさせて読よみやすくする。これはTwitter SCALDINGの共通きょうつうのイディオムでもあります。

source -> operator1(parameter)
-> operator2(parameter)
-> operator2(parameter)
-> operator3(parameter)
-> operator4(parameter)
-> sink ;

基本きほん的てきな演算えんざん^[5]

`EXPAND`

EXPAND式しきを使用しようして、ネストされた配列はいれつをフラット化かします。この式しきは、ネストされた配列はいれつTの配列はいれつを入力にゅうりょくとして受うけ取とり、各かくネストされた配列はいれつの要素ようそを最さい上位じょういの出力しゅつりょく配列はいれつに昇格しょうかくさせることによって出力しゅつりょく配列はいれつ[T]を生成せいせいします。

`FILTER`

FILTER演算えんざん子こを使用しようして、指定していされた入力にゅうりょく配列はいれつから要素ようそを除外じょがいします。この演算えんざん子こは、型かたTの要素ようその配列はいれつを入力にゅうりょくとして受うけ取とり、同おなじ型がたの配列はいれつを出力しゅつりょくし、述語じゅつごが真しんと評価ひょうかされる要素ようそを保持ほじします。これは、SQL言語げんごのWHERE句くに相当そうとうします。例れい：

data = [
 {name: "Jon Doe", income: 20000, mgr: false},
 {name: "Vince Wayne", income: 32500, mgr: false},
 {name: "Jane Dean", income: 72000, mgr: true},
 {name: "Alex Smith", income: 25000, mgr: false}
];

data -> filter $.mgr;

[
  {
    "income": 72000,
    "mgr": true,
    "name": "Jane Dean"
  }
]

data -> filter $.income < 30000;

[
  {
    "income": 20000,
    "mgr": false,
    "name": "Jon Doe"
  },
  {
    "income": 25000,
    "mgr": false,
    "name": "Alex Smith"
  }
]

`GROUP`

GROUP式しきを使用しようして、1つまたは複数ふくすうの入力にゅうりょく配列はいれつをグループ化かキーにグループ化かし、グループごとに集計しゅうけい関数かんすうを適用てきようします。

`JOIN`

JOIN演算えんざん子こを使用しようして、2つ以上いじょうの入力にゅうりょく配列はいれつ間あいだの結合けつごうを表現ひょうげんします。この演算えんざん子こは、natural、left-outer、right-outer、outer joinsを含ふくむ複数ふくすうのタイプの結合けつごうをサポートします。

`SORT`

入力にゅうりょくを1つ以上いじょうのフィールドでソートするにはSORT演算えんざん子こを使用しようします。

`TOP`

TOP式しきは、入力にゅうりょくの最初さいしょの $k$ 個この要素ようそを選択せんたくします。コンパレータが提供ていきょうされている場合ばあい、出力しゅつりょくは入力にゅうりょくをソートし、最初さいしょの $k$ 個この要素ようそを選択せんたくすることと意味いみ的てきに同おなじです。

`TRANSFORM`

TRANSFORM演算えんざん子こを使用しようすると、プロジェクションを実現じつげんしたり、出力しゅつりょくのすべての項目こうもくに関数かんすうを適用てきようできます。

参照さんしょう

外部がいぶリンク

[1] Original Jaql project

[2] Initial Publication

[3] Comparing High Level MapReduce Query Languages, 9th International Symposium of Advanced Parallel Processing Technologies 2011, Shanghei, China

[4] JAQL in Hadoop, a brief introduction

[5] IBM BigInsights Documentation

[1]

[2]

[3]

[4]

[5]

Jaql

文法ぶんぽう

基本きほん的てきな演算えんざん[5]

EXPAND

FILTER

GROUP

JOIN

SORT

TOP

TRANSFORM