(Translated by https://www.hiragana.jp/)
Apache Hadoop - 维基百科，自由的百科全书 跳とべ转到内容ないよう

Apache Hadoop

本页使用了标题或全文手工转换
维基百科ひゃっか，自由じゆう的てき百科ひゃっか全ぜん书
（重定しげさだ向こう自じHadoop）
Apache Hadoop
Hadoop Logo
原作げんさく者しゃDoug Cutting, Mike Cafarella
開發かいはつ者しゃApache软件基金ききん会かい
首くび次じ发布2006年ねん4月がつ1日にち，​18年ねん前まえ​（2006-04-01）[1]
当とう前ぜん版本はんぽん
  • 3.4.0 (2024年ねん3月がつ17日にち)[2]
編輯維基數據鏈接
源みなもと代だい码库
編輯維基數據鏈接
编程语言Java
操作そうさ系けい统跨またが平台ひらだい
类型大數たいすう據よりどころ、分ぶん佈式系統けいとう
许可协议Apache許可きょか證しょう 2.0
网站hadoop.apache.org

Apache Hadoop是ぜ一款支持數據密集型分ぶん佈式應用おうよう程ほど序じょ并以Apache 2.0許可きょか協議きょうぎ發はつ佈的開源かいげん軟體框かまち架か，有ゆう助じょ于使用しよう许多计算机つくえ组成的てき网络来らい解かい决数据すえ、计算密集みっしゅう型がた的てき问题。基もと于MapReduce计算模型もけい，它为大数たいすう据すえ的てき分布ぶんぷ式しき存そん储与あずか处理提供ていきょう了りょう一いち个软件框かまち架か。所有しょゆう的てきHadoop模も块都有ゆう一个基本假设，即そく硬かた件けん故障こしょう是ぜ常つね见情况，应该由よし框かまち架か自じ动处理り[3]。

Apache Hadoop的てき核心かくしん模も块分为存储和计算模も块，前者ぜんしゃ被ひ称しょう为Hadoop分布ぶんぷ式しき文ぶん件けん系けい统（HDFS），后きさき者しゃ即そくMapReduce计算模型もけい。Hadoop框かまち架か先さき将文まさふみ件けん分ぶん成なり数すう据すえ块并分布ぶんぷ式しき地ち存そん储在集しゅう群ぐん的てき计算节点中ちゅう，接着せっちゃく将はた负责计算任にん务的代だい码传送给各节点，让其能のう够并行地ゆくじ处理数すう据すえ。这种方法ほうほう有效ゆうこう利用りよう了りょう数かず据すえ局部きょくぶ性せい，令れい各かく节点分ぶん别处理り其能够访问的数すう据すえ。与あずか传统的てき超ちょう级计算さん机つくえ架か构相比ひ，这使得とく数すう据すえ集しゅう的てき处理速度そくど更さら快かい、效率こうりつ更さら高だか[4][5]。

Apache Hadoop框かまち架か由よし以下いか基本きほん模も块构成なり：

  • Hadoop Common – 包含ほうがん了りょう其他Hadoop 模も块所需的库和实用程ほど序じょ；
  • Hadoop Distributed File System (HDFS) – 一种将数据存储在集群中多个节点中的分布式文件系统，能のう够提供ていきょう很高的てき带宽；
  • Hadoop YARN – （于2012年ねん引入） 一个负责管理集群中计算资源，并实现用户程序じょ调度的てき平台ひらだい[6][7]；
  • Hadoop MapReduce – 用よう于大规模数すう据すえ处理的てきMapReduce计算模型もけい实现；
  • Hadoop Ozone – （于2020年ねん引入） Hadoop的てき对象存そん储。

Hadoop 一词通常代指其基本模块和子模块以及生态系统[8]，或ある可か以安装そう在ざい Hadoop 之の上うえ的てき软件包つつみ的てき集合しゅうごう，例れい如Apache Pig、Apache Hive、Apache HBase、Apache Phoenix、Apache Spark、Apache ZooKeeper、Cloudera Impala、Apache Flume、Apache Sqoop、Apache Oozie和わApache Storm[9]。

Apache Hadoop的てきMapReduce和わHDFS模も块的灵感来らい源げん于Google的てきMapReduce和わGoogle File System论文[10]。

Hadoop 框かまち架か本身ほんみ主要しゅよう是ぜ用ようJava编程语言编写的てき，也包括ほうかつ了りょう一いち些C语言编写的てき本ほん机つくえ代だい码和Shell脚本きゃくほん编写的てき命令めいれい行ぎょう实用程ほど序じょ。尽つき管かんMapReduce Java代だい码很常つね见，但ただし任にん何なん编程语言都と可か以与Hadoop Streaming一起使用来实现用户程序的map和わreduce部分ぶぶん[11]。Hadoop 生なま态系统中的てき其他项目实现了りょう更さら为丰富とみ的てき用よう户界面めん。

主要しゅよう子こ项目

[编辑]
Hadoop小しょう计算机つくえ集しゅう群ぐん用ようCubieboard电脑。
  • Hadoop Common：在ざい0.20及以前まえ的てき版本はんぽん中ちゅう，包含ほうがんHDFS、MapReduce和かず其他项目公共こうきょう内容ないよう，从0.21开始HDFS和わMapReduce被ひ分ぶん离为独立どくりつ的てき子こ项目，其余内容ないよう为Hadoop Common
  • HDFS：Hadoop分ぶん佈式文ぶん件けん系統けいとう（Distributed File System）－HDFS（Hadoop Distributed File System）
  • MapReduce：并行计算框かまち架か，0.20前ぜん使用しようorg.apache.hadoop.mapred旧きゅう接せっ口こう，0.20版本はんぽん开始引入org.apache.hadoop.mapreduce的てき新しんAPI

相關そうかん项目

[编辑]

知名ちめい用よう戶と

[编辑]

Hadoop在ざいYahoo!的てき應用おうよう

[编辑]

2008年ねん2月がつ19日にち，雅まさ虎とら使用しよう10,000個こ微ほろ處理しょり器き核心かくしん的てきLinux计算机つくえ集しゅう群ぐん運行うんこう一いち個こHadoop應用おうよう程ほど式しき。[12]

其他用よう戶と

[编辑]

其他知名ちめい用よう戶と包括ほうかつ[13]：

Hadoop與あずかSun Grid Engine

[编辑]

昇のぼり陽よう電腦でんのう的てきSun Grid Engine可か以用来らい调度Hadoop Job。[14][15]

Hadoop與あずかCondor

[编辑]

威い斯康辛からし大學だいがく麥むぎ迪すすむ遜へりくだ分校ぶんこう的てきCondor計算けいさん機き集しゅう群ぐん軟件也可以用作さくHadoop Job的てき排はい程ほど。[16]

參まいり見み

[编辑]

参考さんこう文献ぶんけん

[编辑]
  1. ^ Hadoop Releases. apache.org. Apache Software Foundation. [2019-04-28]. （原始げんし内容ないよう存そん档于2019-04-28）. 
  2. ^ Release 3.4.0 available. [2024年ねん4月がつ10日とおか]. 
  3. ^ Welcome to Apache Hadoop!. hadoop.apache.org. [2016-08-25]. （原始げんし内容ないよう存そん档于2017-09-23）. 
  4. ^ Malak, Michael. Data Locality: HPC vs. Hadoop vs. Spark. datascienceassn.org. Data Science Association. 2014-09-19 [2014-10-30]. （原始げんし内容ないよう存そん档于2017-09-10）. 
  5. ^ Wang, Yandong; Goldstone, Robin; Yu, Weikuan; Wang, Teng. Characterization and Optimization of Memory-Resident MapReduce on HPC Systems. 2014 IEEE 28th International Parallel and Distributed Processing Symposium. IEEE. October 2014: 799–808. ISBN 978-1-4799-3800-1. S2CID 11157612. doi:10.1109/IPDPS.2014.87. 
  6. ^ Resource (Apache Hadoop Main 2.5.1 API). apache.org. Apache Software Foundation. 2014-09-12 [2014-09-30]. （原始げんし内容ないよう存そん档于2014-10-06）. 
  7. ^ Murthy, Arun. Apache Hadoop YARN – Concepts and Applications. hortonworks.com. Hortonworks. 2012-08-15 [2014-09-30]. （原始げんし内容ないよう存そん档于2017-09-11）. 
  8. ^ Continuuity Raises $10 Million Series A Round to Ignite Big Data Application Development Within the Hadoop Ecosystem. finance.yahoo.com. Marketwired. 2012-11-14 [2014-10-30]. （原始げんし内容ないよう存そん档于2017-09-10）. 
  9. ^ Hadoop-related projects at. Hadoop.apache.org. [2013-10-17]. （原始げんし内容ないよう存そん档于2017-09-23）. 
  10. ^ Data Science and Big Data Analytics: Discovering, Analyzing, Visualizing and Presenting Data. John Wiley & Sons. 2014-12-19: 300 [2015-01-29]. ISBN 9781118876220. 
  11. ^ nlpatumd; Adventures with Hadoop and Perl. Mail-archive.com. 2010-05-02 [2013-04-05]. （原始げんし内容ないよう存そん档于2017-08-14）. 
  12. ^ Yahoo! Launches World's Largest Hadoop Production Application (Hadoop and Distributed Computing at Yahoo!). [2008-09-04]. （原始げんし内容ないよう存そん档于2008-05-14）. 
  13. ^ PoweredBy. [2008-09-07]. （原始げんし内容ないよう存そん档于2012-11-29）. 
  14. ^ Creating Hadoop pe under SGE. Sun Microsystems. 2008-01-16 [2008-09-04]. （原始げんし内容ないよう存そん档于2008-09-12）. 
  15. ^ HDFS-Aware Scheduling With Grid Engine (PDF). Sun Microsystems. 2009-09-10. [永久えいきゅう失效しっこう連結れんけつ]
  16. ^ Condor integrated with Hadoop's Map Reduce (PDF). 威い斯康辛からし大學だいがく麥むぎ迪すすむ遜へりくだ分校ぶんこう. 2010-04-15 [2011-03-15]. （原始げんし内容ないよう存そん档 (PDF)于2011-04-01）. 

外部がいぶ連結れんけつ

[编辑]
顶级项目
ASF logo
Commons项目
Lucene项目
Hadoop项目
其他项目
孵化ふか器き项目
Apache Attic
许可证标准じゅん

磁盘
闪存和わSSD
NAS
特殊とくしゅ
伪
类型
特性とくせい
接せっ口こう
规范控ひかえ制せい数すう据すえ库：各地かくち 編輯維基數據鏈接
检索自じ“https://zh.wikipedia.org/w/index.php?title=Apache_Hadoop&oldid=78334627”