Apache Hive

Hive
最新さいしん版ばん	2.3.4 / 2018年ねん11月7日にち (5年ねん前まえ)
リポジトリ	git.apache.org/hive.git;
プログラミング; 言語げんご	Java
対応たいおうOS	クロスプラットフォーム
サポート状じょう況きょう	開発かいはつ中ちゅう
ライセンス	Apache License 2.0
公式こうしきサイト	hive.apache.org
	テンプレートを表示ひょうじ

Apache Hive はHadoopの上うえに構築こうちくされたデータウェアハウス構築こうちく環境かんきょうであり、データの集約しゅうやく・問とい合あわせ・分析ぶんせきを行おこなう^[1]。Apache Hiveは当初とうしょはFacebookによって開発かいはつされたが、その後ごNetflixのようにさまざまな団体だんたいが開発かいはつに参加さんかし、またユーザーとなった^[2]^[3]。 Hive はAmazon Web ServicesのAmazon Elastic MapReduceにも含ふくまれている^[4]。

特徴とくちょうと機能きのう

Apache HiveはHadoop互換ごかんのファイルシステム（たとえばAmazon S3)に格納かくのうされた大だい規模きぼデータセットの分析ぶんせきを行おこなう。使用しようには、map/reduceを完全かんぜんにサポートしたSQLライクな「HiveQL」という言語げんごを用もちいる。クエリの高速こうそく化かのため、ビットマップインデックスを含ふくめたインデクス機能きのうも実装じっそうしている^[5]。

標準ひょうじゅん設定せっていでは、Hiveはメタデータを組くみ込こみApache Derbyデータベースに格納かくのうするが、オプションとしては別べつに用意よういしたクライアント・サーバデータベース（たとえばMySQL）に格納かくのうさせることもできる^[6]。

現在げんざい、Hiveがサポートするファイルフォーマットは3種類しゅるいあり、それらはTEXTFILE, SEQUENCEFILE および RCFILEである^[7]^[8]。

Hiveが提供ていきょうする機能きのうには他たには次つぎのようなものがある^[9]:

高速こうそく化かのためのインデックス作成さくせい
別べつの種類しゅるいのストレージタイプ。たとえばプレーンテキスト・RCFile・HBaseなど
クエリ実行じっこう時じのセマンティックチェック時間じかんを大幅おおはばに短縮たんしゅくするため、メタデータを関係かんけいデータベース管理かんりシステム (RDBMS) に格納かくのうする機能きのう
Hadoop環境かんきょうに格納かくのうされた圧縮あっしゅくデータを扱あつかう機能きのう
日付ひづけ型がた・文字もじ列れつ型がたを扱あつかったり他たのデータ操作そうさを可能かのうとする組くみ込こみユーザ定義ていぎ関数かんすう（UDF)。組くみ込こみ関数かんすうで用意よういされていない機能きのうもユーザが自作じさくUDFを作成さくせいすることで対応たいおうすることが可能かのう
SQLライクなクエリ言語げんご(Hive QL)。これは内部ないぶ的てきにMap/Reduceジョブに変換へんかんされる

HiveQL

HiveQLはSQLに基もとづいているものの、厳密げんみつにはSQL-92をフルサポートしてはいない。たとえばSQLにない複数ふくすうテーブルインサートやcreate table as selectは可能かのうだが、インデクスに関かんしては限定げんてい的てきなサポートに留とどまっている^[10]。また、HiveQLはトランザクションやマテリアライズドビューの機能きのうはもたず、副ふく問とい合あわせのサポートも限定げんてい的てきである。^[11]^[12]。

内部ないぶ的てきには、コンパイラがHiveQL文ぶんをMap/Reduceジョブの有向ゆうこう非ひ巡回じゅんかいグラフに変換へんかんし、それがHadoopに渡わたされ実行じっこうされる^[13]。

参照さんしょう

^ Venner, Jason (2009). Pro Hadoop. Apress. ISBN 978-1-4302-1942-2
^ Use Case Study of Hive/Hadoop
^ OSCON Data 2011, Adrian Cockcroft, "Data Flow at Netflix" - YouTube
^ Amazon Elastic MapReduce Developer Guide
^ Working with Students to Improve Indexing in Apache Hive
^ Lam, Chuck (2010). Hadoop in Action. Manning Publications. ISBN 1-935182-19-6
^ Facebook's Petabyte Scale Data Warehouse using Hive and Hadoop
^ Yongqiang He, Rubao Lee, Yin Huai, Zheng Shao, Namit Jain, Xiaodong Zhang and Zhiwei Xu. “RCFile: A Fast and Space-efﬁcient Data Placement Structure in MapReduce-based Warehouse Systems” (PDF). 4,Nov. 2012閲覧えつらん。
^ Hive – The next generation data warehouse
^ また、外部がいぶ結合けつごうはLEFTしかできない・JOINのON節ぶしでの不等式ふとうしきやBetweenの使用しように制限せいげんがある・timestamp型がたはUNIX TIMEなので1970年ねん以前いぜんや2037年ねん以後いごの日付ひづけが使つかえない・CSVから文字もじ列れつフィールドをLOAD DATAする場合ばあい、ENCLOSED指定していが出来できないので二に重じゅう引用いんよう符ふ等とうは事前じぜんに削除さくじょする必要ひつようがある・その場合ばあいでも明示めいじ的てきにNULLを指定していしたい場合ばあいには「\N」という特殊とくしゅな文字もじ列れつを入いれておく必要ひつようがある、などがあり使用しようには注意ちゅういを要ようする（日本語にほんご訳者やくしゃによる追記ついき。いずれもバージョン0.9.0の場合ばあい）
^ White, Tom (2010). Hadoop: The Definitive Guide. O'Reilly Media. ISBN 978-1-4493-8973-4
^ Hive Language Manual
^ Hive A Warehousing Solution Over a MapReduce Framework

外部がいぶリンク

公式こうしきウェブサイト
Hive A Warehousing Solution Over a MapReduce Framework - Original paper presented by Facebook at VLDB 2009
Using Apache Hive With Amazon Elastic MapReduce (Part 1) and Part 2 - YouTube, presented by an AWS Engineer

この項目こうもくは、FLOSSに関連かんれんした書かきかけの項目こうもくです。この項目こうもくを加筆かひつ・訂正ていせいなどしてくださる協力きょうりょく者しゃを求もとめています（Portal:FLOSS）。

[1] Venner, Jason (2009). Pro Hadoop. Apress. ISBN 978-1-4302-1942-2

[2] Use Case Study of Hive/Hadoop

[3] OSCON Data 2011, Adrian Cockcroft, "Data Flow at Netflix" - YouTube

[4] Amazon Elastic MapReduce Developer Guide

[5] Working with Students to Improve Indexing in Apache Hive

[6] Lam, Chuck (2010). Hadoop in Action. Manning Publications. ISBN 1-935182-19-6

[7] Facebook's Petabyte Scale Data Warehouse using Hive and Hadoop

[8] Yongqiang He, Rubao Lee, Yin Huai, Zheng Shao, Namit Jain, Xiaodong Zhang and Zhiwei Xu. “RCFile: A Fast and Space-efﬁcient Data Placement Structure in MapReduce-based Warehouse Systems” (PDF). 4,Nov. 2012閲覧えつらん。

[9] Hive – The next generation data warehouse

[10] また、外部がいぶ結合けつごうはLEFTしかできない・JOINのON節ぶしでの不等式ふとうしきやBetweenの使用しように制限せいげんがある・timestamp型がたはUNIX TIMEなので1970年ねん以前いぜんや2037年ねん以後いごの日付ひづけが使つかえない・CSVから文字もじ列れつフィールドをLOAD DATAする場合ばあい、ENCLOSED指定していが出来できないので二に重じゅう引用いんよう符ふ等とうは事前じぜんに削除さくじょする必要ひつようがある・その場合ばあいでも明示めいじ的てきにNULLを指定していしたい場合ばあいには「\N」という特殊とくしゅな文字もじ列れつを入いれておく必要ひつようがある、などがあり使用しようには注意ちゅういを要ようする（日本語にほんご訳者やくしゃによる追記ついき。いずれもバージョン0.9.0の場合ばあい）

[11] White, Tom (2010). Hadoop: The Definitive Guide. O'Reilly Media. ISBN 978-1-4493-8973-4

[12] Hive Language Manual

[13] Hive A Warehousing Solution Over a MapReduce Framework

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

表ひょう話はなし編へん歴れき Apacheソフトウェア財団ざいだん
トップレベルプロジェクト	Accumulo（英語えいご版ばん） ActiveMQ Airflow Ambari（英語えいご版ばん） Ant Aries（英語えいご版ばん） Arrow（英語えいご版ばん） Apache HTTP Server APR Avro（英語えいご版ばん） Axis Axis2 Beam Bloodhound（英語えいご版ばん） Brooklyn（英語えいご版ばん） Buildr（英語えいご版ばん） Calcite（英語えいご版ばん） Camel（英語えいご版ばん） Cassandra Cayenne（英語えいご版ばん） Chemistry（英語えいご版ばん） CloudStack（英語えいご版ばん） Cocoon Cordova CouchDB cTAKES（英語えいご版ばん） CXF（英語えいご版ばん） Derby Directory（英語えいご版ばん） Drill Druid（英語えいご版ばん） Empire-db（英語えいご版ばん） Felix（英語えいご版ばん） Flex Flink（英語えいご版ばん） Flume（英語えいご版ばん） FreeMaker（英語えいご版ばん） Geronimo Giraph（英語えいご版ばん） Gump（英語えいご版ばん） Hadoop HBase Helix（英語えいご版ばん） Hive Impala（英語えいご版ばん） Jackrabbit（英語えいご版ばん） James Jena（英語えいご版ばん） Jini（英語えいご版ばん） JMeter（英語えいご版ばん） Kafka Kudu（英語えいご版ばん） Kylin（英語えいご版ばん） Lucene Mahout Maven MINA（英語えいご版ばん） mod_perl（英語えいご版ばん） MyFaces（英語えいご版ばん） NetBeans Nutch（英語えいご版ばん） NuttX（英語えいご版ばん） OFBiz（英語えいご版ばん） Oozie（英語えいご版ばん） OpenEJB OpenJPA OpenNLP OpenOffice ORC（英語えいご版ばん） PDFBox（英語えいご版ばん） Parquet（英語えいご版ばん） Phoenix（英語えいご版ばん） POI Pig（英語えいご版ばん） Pinot（英語えいご版ばん） Pivot Qpid（英語えいご版ばん） Roller RocketMQ（英語えいご版ばん） Samza（英語えいご版ばん） ServiceMix（英語えいご版ばん） Shiro（英語えいご版ばん） SINGA（英語えいご版ばん） Sling（英語えいご版ばん） Solr Spark Storm（英語えいご版ばん） SpamAssassin Struts 1 Struts 2（英語えいご版ばん） Subversion Apache Superset SystemDS（英語えいご版ばん） Tapestry Thrift Tika（英語えいご版ばん） Tomcat Traffic Server（英語えいご版ばん） Turbine（英語えいご版ばん） UIMA（英語えいご版ばん） Velocity Wicket Xalan Xerces XMLBeans Yetus（英語えいご版ばん） ZooKeeper
Commons	BCEL（英語えいご版ばん） BSF（英語えいご版ばん） Collections Daemon（英語えいご版ばん） DBUtils Email IO Jelly（英語えいご版ばん） Lang Apache Commons Logging（英語えいご版ばん） Math
Incubator	Apache MXNet（英語えいご版ばん） Apache Taverna（英語えいご版ばん）
その他たのプロジェクト	Apache Batik Chainsaw（英語えいご版ばん） FOP Ivy（英語えいご版ばん） log4j
Attic	Abdera（英語えいご版ばん） Apache Apex（英語えいご版ばん） AxKit Beehive（英語えいご版ばん） Bluesky（英語えいご版ばん） iBATIS c++ Standard Library（英語えいご版ばん） Cactus（英語えいご版ばん） Click（英語えいご版ばん） Continuum（英語えいご版ばん） Apache Deltacloud（英語えいご版ばん） Apache Etch（英語えいご版ばん） Excalibur（英語えいご版ばん） Forrest（英語えいご版ばん） Hama（英語えいご版ばん） Harmony HiveMind（英語えいご版ばん） Jakarta Lenya（英語えいご版ばん） Marmotta（英語えいご版ばん） ODE（英語えいご版ばん） Shale Slide（英語えいご版ばん） Shindig Stanbol（英語えいご版ばん） Tuscany（英語えいご版ばん） Wave（英語えいご版ばん） Wink（英語えいご版ばん） XML
ライセンス	Apache License
Category Commons

特徴とくちょうと機能きのう

HiveQL

関連かんれん項目こうもく

参照さんしょう

外部がいぶリンク