(Translated by https://www.hiragana.jp/)
Apache Hadoop - 维基百科,自由的百科全书 とべ转到内容ないよう

Apache Hadoop[编辑]

维基百科ひゃっか自由じゆうてき百科ひゃっかぜん
Apache Hadoop
Hadoop Logo
原作げんさくしゃDoug Cutting, Mike Cafarella
開發かいはつしゃApache软件基金ききんかい
くび发布2006ねん4がつ1にち,​18ねんまえ​(2006-04-01[1]
とうぜん版本はんぽん
  • 3.4.0(2024ねん3がつ17にち[2]
編輯維基數據鏈接
みなもとだい码库 編輯維基數據鏈接
编程语言Java
操作そうさけいまたが平台ひらだい
类型大數たいすうよりどころぶん佈式系統けいとう
许可协议Apache許可きょかしょう 2.0
网站hadoop.apache.org

Apache Hadoop一款支持數據密集型ぶん佈式應用おうようほどじょ并以Apache 2.0許可きょか協議きょうぎはつ佈的開源かいげん軟體かまちゆうじょ使用しよう许多计算つくえ组成てき网络らいかい决数すえ、计算密集みっしゅうがたてき问题。もとMapReduce计算模型もけい,它为大数たいすうすえてき分布ぶんぷしきそんあずか处理提供ていきょうりょういち软件かまち所有しょゆうてきHadoop块都ゆう一个基本假设,そくかたけん故障こしょうつね见情况,应该よしかまち动处[3]

Apache Hadoopてき核心かくしん块分为存储和计算块,前者ぜんしゃしょう为Hadoop分布ぶんぷしきぶんけんけい统(HDFS),きさきしゃそくMapReduce计算模型もけい。Hadoopかまちさき将文まさふみけんぶんなりすうすえ块并分布ぶんぷしきそん储在しゅうぐんてき计算节点ちゅう接着せっちゃくはた负责计算にん务的だい码传送给各节点,让其のう够并行地ゆくじ处理すうすえ。这种方法ほうほう有效ゆうこう利用りようりょうかずすえ局部きょくぶせいれいかく节点ぶん别处其能够访问的すうすえあずか传统てきちょう级计さんつくえ构相,这使とくすうすえしゅうてき处理速度そくどさらかい效率こうりつさらだか[4][5]

Apache Hadoopかまちよし以下いか基本きほん块构なり

  • Hadoop Common包含ほうがんりょう其他Hadoop 块所需的库和实用ほどじょ
  • Hadoop Distributed File System (HDFS) – 一种将数据存储在集群中多个节点中的分布式文件系统,のう提供ていきょう很高てき带宽;
  • Hadoop YARN – (于2012ねん引入) 一个负责管理集群中计算资源,并实现用户程じょ调度てき平台ひらだい[6][7]
  • Hadoop MapReduceよう于大规模すうすえ处理てきMapReduce计算模型もけい实现;
  • Hadoop Ozone – (于2020ねん引入) Hadoopてき对象そん储。

Hadoop 一词通常代指其基本模块和子模块以及生态系统[8]ある以安そうざい Hadoop うえてき软件つつみてき集合しゅうごうれいApache PigApache HiveApache HBaseApache PhoenixApache SparkApache ZooKeeperCloudera ImpalaApache FlumeApache SqoopApache OozieApache Storm[9]

Apache HadoopてきMapReduceHDFS块的灵感らいげんGoogleてきMapReduceGoogle File System论文[10]

Hadoop かまち本身ほんみ主要しゅようようJava编程语言编写てき,也包括ほうかつりょういちC语言编写てきほんつくえだい码和Shell脚本きゃくほん编写てき命令めいれいぎょう实用ほどじょつきかんMapReduce Javaだい码很つね见,ただしにんなん编程语言以与Hadoop Streaming一起使用来实现用户程序的mapreduce部分ぶぶん[11]。Hadoop なま态系统中てき其他项目实现りょうさら为丰とみてきよう户界めん

主要しゅよう项目

[编辑]
Hadoopしょう计算つくえしゅうぐんようCubieboard电脑。
  • Hadoop Common:ざい0.20及以まえてき版本はんぽんちゅう包含ほうがんHDFS、MapReduceかず其他项目公共こうきょう内容ないよう,从0.21开始HDFSMapReduceぶん离为独立どくりつてき项目,其余内容ないよう为Hadoop Common
  • HDFS:Hadoopぶん佈式ぶんけん系統けいとう(Distributed File System)-HDFS(Hadoop Distributed File System)
  • MapReduce:并行计算かまち,0.20ぜん使用しようorg.apache.hadoop.mapredきゅうせっこう,0.20版本はんぽん开始引入org.apache.hadoop.mapreduceてきしんAPI

相關そうかん项目

[编辑]

知名ちめいよう

[编辑]

HadoopざいYahoo!てき應用おうよう

[编辑]

2008ねん2がつ19にちまさとら使用しよう10,000ほろ處理しょり核心かくしんてきLinux计算つくえしゅうぐん運行うんこういちHadoop應用おうようほどしき[12]

其他よう

[编辑]

其他知名ちめいよう包括ほうかつ[13]

HadoopあずかSun Grid Engine

[编辑]

のぼりよう電腦でんのうてきSun Grid Engine以用らい调度Hadoop Job。[14][15]

HadoopあずかCondor

[编辑]

斯康からし大學だいがくむぎすすむへりくだ分校ぶんこうてきCondor計算けいさんしゅうぐん軟件也可以用さくHadoop Jobてきはいほど[16]

まいり

[编辑]

参考さんこう文献ぶんけん

[编辑]
  1. ^ Hadoop Releases. apache.org. Apache Software Foundation. [2019-04-28]. (原始げんし内容ないようそん于2019-04-28). 
  2. ^ Release 3.4.0 available. [2024ねん4がつ10日とおか]. 
  3. ^ Welcome to Apache Hadoop!. hadoop.apache.org. [2016-08-25]. (原始げんし内容ないようそん于2017-09-23). 
  4. ^ Malak, Michael. Data Locality: HPC vs. Hadoop vs. Spark. datascienceassn.org. Data Science Association. 2014-09-19 [2014-10-30]. (原始げんし内容ないようそん于2017-09-10). 
  5. ^ Wang, Yandong; Goldstone, Robin; Yu, Weikuan; Wang, Teng. Characterization and Optimization of Memory-Resident MapReduce on HPC Systems. 2014 IEEE 28th International Parallel and Distributed Processing Symposium. IEEE. October 2014: 799–808. ISBN 978-1-4799-3800-1. S2CID 11157612. doi:10.1109/IPDPS.2014.87. 
  6. ^ Resource (Apache Hadoop Main 2.5.1 API). apache.org. Apache Software Foundation. 2014-09-12 [2014-09-30]. (原始げんし内容ないようそん档于2014-10-06). 
  7. ^ Murthy, Arun. Apache Hadoop YARN – Concepts and Applications. hortonworks.com. Hortonworks. 2012-08-15 [2014-09-30]. (原始げんし内容ないようそん于2017-09-11). 
  8. ^ Continuuity Raises $10 Million Series A Round to Ignite Big Data Application Development Within the Hadoop Ecosystem. finance.yahoo.com. Marketwired. 2012-11-14 [2014-10-30]. (原始げんし内容ないようそん于2017-09-10). 
  9. ^ Hadoop-related projects at. Hadoop.apache.org. [2013-10-17]. (原始げんし内容ないようそん于2017-09-23). 
  10. ^ Data Science and Big Data Analytics: Discovering, Analyzing, Visualizing and Presenting Data. John Wiley & Sons. 2014-12-19: 300 [2015-01-29]. ISBN 9781118876220. 
  11. ^ nlpatumd; Adventures with Hadoop and Perl. Mail-archive.com. 2010-05-02 [2013-04-05]. (原始げんし内容ないようそん于2017-08-14). 
  12. ^ Yahoo! Launches World's Largest Hadoop Production Application (Hadoop and Distributed Computing at Yahoo!). [2008-09-04]. (原始げんし内容ないようそん档于2008-05-14). 
  13. ^ PoweredBy. [2008-09-07]. (原始げんし内容ないようそん档于2012-11-29). 
  14. ^ Creating Hadoop pe under SGE. Sun Microsystems. 2008-01-16 [2008-09-04]. (原始げんし内容ないようそん档于2008-09-12). 
  15. ^ HDFS-Aware Scheduling With Grid Engine (PDF). Sun Microsystems. 2009-09-10. [永久えいきゅう失效しっこう連結れんけつ]
  16. ^ Condor integrated with Hadoop's Map Reduce (PDF). 斯康からし大學だいがくむぎすすむへりくだ分校ぶんこう. 2010-04-15 [2011-03-15]. (原始げんし内容ないようそん (PDF)于2011-04-01). 

外部がいぶ連結れんけつ

[编辑]