(Translated by https://www.hiragana.jp/)
Apache Hadoop - 維基百科，自由的百科全書 跳とべ至いたり內容

Apache Hadoop

本頁使用了標題或全文手工轉換
維基百科ひゃっか，自由じゆう的てき百科全書ひゃっかぜんしょ
Apache Hadoop
Hadoop Logo
原作げんさく者しゃDoug Cutting, Mike Cafarella
開發かいはつ者しゃApache軟件基金ききん會かい
首くび次じ釋しゃく出いずる2006年ねん4月がつ1日にち，​18年ねん前まえ​（2006-04-01）[1]
目前もくぜん版本はんぽん
  • 3.4.0（2024年ねん3月がつ17日にち）[2]
編輯維基數據連結
原始げんし碼庫
編輯維基數據連結
程ほど式しき語ご言げんJava
作業さぎょう系統けいとう跨またが平台ひらだい
類型るいけい大數たいすう據よりどころ、分ぶん佈式系統けいとう
特許とっきょ條じょう款Apache特許とっきょ條じょう款 2.0
網あみ站hadoop.apache.org

Apache Hadoop是ぜ一款支援數據密集型分ぶん佈式應用おうよう程ほど式しき並なみ以Apache 2.0許可きょか協定きょうてい發はつ佈的開源かいげん軟件框かまち架か，有ゆう助じょ於使用しよう許多きょた電腦でんのう組成そせい的てき網もう絡からま來らい解決かいけつ數すう據よりどころ、計算けいさん密集みっしゅう型がた的てき問題もんだい。基もと於MapReduce計算けいさん模型もけい，它為大數たいすう據よりどころ的てき分散ぶんさん式しき儲もうか存そん與あずか處理しょり提供ていきょう了りょう一いち個こ軟件框かまち架か。所有しょゆう的てきHadoop模も組ぐみ都と有ゆう一いち個こ基本きほん假設かせつ，即そく硬かた件けん故障こしょう是ぜ常見つねみ情況じょうきょう，應おう該由框かまち架か自動じどう處理しょり[3]。

Apache Hadoop的てき核心かくしん模も組ぐみ分ぶん為ため儲もうか存そん和わ計算けいさん模も組ぐみ，前者ぜんしゃ被ひ稱しょう為ためHadoop分散ぶんさん式しき檔案系統けいとう（HDFS），後者こうしゃ即そくMapReduce計算けいさん模型もけい。Hadoop框かまち架か先さき將はた檔案分ぶん成なり數すう據よりどころ塊かたまり並なみ分散ぶんさん式しき地ち儲もうか存在そんざい叢くさむら集しゅう的てき計算けいさん節點せってん中ちゅう，接着せっちゃく將はた負ふ責せめ計算けいさん任務にんむ的てき代だい碼傳送でんそう給きゅう各かく節點せってん，讓ゆずる其能夠並列へいれつ地ち處理しょり數すう據よりどころ。這種方法ほうほう有效ゆうこう利用りよう了りょう數かず據よりどころ局部きょくぶ性せい，令れい各かく節點せってん分別ふんべつ處理しょり其能夠訪問ほうもん的てき數すう據よりどころ。與あずか傳統でんとう的てき超ちょう級きゅう電腦でんのう架か構相比ひ，這使得とく數すう據よりどころ集しゅう的てき處理しょり速度そくど更さら快かい、效率こうりつ更さら高だか[4][5]。

Apache Hadoop框かまち架か由よし以下いか基本きほん模も組ぐみ構成こうせい：

  • Hadoop Common – 包含ほうがん了りょう其他Hadoop 模も組ぐみ所しょ需的庫こ和わ實用じつよう程ほど式しき；
  • Hadoop Distributed File System (HDFS) – 一種將數據儲存在叢集中多個節點中的分散式檔案系統，能のう夠提供ていきょう很高的てき頻しき寬ひろし；
  • Hadoop YARN – （於2012年ねん引入） 一個負責管理叢集中計算資源，並なみ實現じつげん用よう戶と程ほど式しき排はい程ほど的てき平台ひらだい[6][7]；
  • Hadoop MapReduce – 用よう於大おだい規模きぼ數すう據よりどころ處理しょり的てきMapReduce計算けいさん模型もけい實現じつげん；
  • Hadoop Ozone – （於2020年ねん引入） Hadoop的てき對象たいしょう儲もうか存そん。

Hadoop 一詞通常代指其基本模組和子模組以及生態系統[8]，或ある可か以安裝そう在ざい Hadoop 之の上うえ的てき軟件套件的てき集合しゅうごう，例れい如Apache Pig、Apache Hive、Apache HBase、Apache Phoenix、Apache Spark、Apache ZooKeeper、Cloudera Impala、Apache Flume、Apache Sqoop、Apache Oozie和わApache Storm[9]。

Apache Hadoop的てきMapReduce和わHDFS模も組ぐみ的てき靈感れいかん來らい源げん於Google的てきMapReduce和わGoogle File System論文ろんぶん[10]。

Hadoop 框かまち架か本身ほんみ主要しゅよう是ぜ用ようJava程ほど式しき語ご言げん編へん寫うつし的てき，也包括ほうかつ了りょう一いち些C語ご言げん編へん寫うつし的てき本ほん機き代だい碼和Shell指令しれい碼編へん寫うつし的てき命令めいれい列れつ實用じつよう程ほど式しき。儘管MapReduce Java代だい碼很常見つねみ，但ただし任にん何程なにほど式しき語ご言げん都と可か以與Hadoop Streaming一起使用來實現用戶程式的map和わreduce部分ぶぶん[11]。Hadoop 生態せいたい系統けいとう中ちゅう的てき其他專せん案あん實現じつげん了りょう更さら為ため豐富ほうふ的てき用よう戶と介かい面めん。

主要しゅよう子こ專せん案あん

[編輯へんしゅう]
Hadoop小しょう電腦でんのう叢くさむら集しゅう用ようCubieboard電腦でんのう。
  • Hadoop Common：在ざい0.20及以前まえ的てき版本はんぽん中ちゅう，包含ほうがんHDFS、MapReduce和かず其他專せん案あん公共こうきょう內容，從したがえ0.21開始かいしHDFS和わMapReduce被ひ分離ぶんり為ため獨立どくりつ的てき子こ專せん案あん，其餘內容為ためHadoop Common
  • HDFS：Hadoop分ぶん佈式檔案系統けいとう（Distributed File System）－HDFS（Hadoop Distributed File System）
  • MapReduce：平行へいこう計算けいさん框かまち架か，0.20前ぜん使用しようorg.apache.hadoop.mapred舊きゅう介かい面めん，0.20版本はんぽん開始かいし引入org.apache.hadoop.mapreduce的てき新しんAPI

相關そうかん專せん案あん

[編輯へんしゅう]

知名ちめい用よう戶と

[編輯へんしゅう]

Hadoop在ざいYahoo!的てき應用おうよう

[編輯へんしゅう]

2008年ねん2月がつ19日にち，雅まさ虎とら使用しよう10,000個こ微ほろ處理しょり器き核心かくしん的てきLinux電腦でんのう叢くさむら集しゅう運行うんこう一いち個こHadoop應用おうよう程ほど式しき。[12]

其他用よう戶と

[編輯へんしゅう]

其他知名ちめい用よう戶と包括ほうかつ[13]：

Hadoop與あずかSun Grid Engine

[編輯へんしゅう]

昇のぼり陽よう電腦でんのう的てきSun Grid Engine可か以用來らい排はい程ほどHadoop Job。[14][15]

Hadoop與あずかCondor

[編輯へんしゅう]

威い斯康辛からし大學だいがく麥むぎ迪すすむ遜へりくだ分校ぶんこう的てきCondor計算けいさん機き叢くさむら集しゅう軟件也可以用作さくHadoop Job的てき排はい程ほど。[16]

參まいり見み

[編輯へんしゅう]

參考さんこう文獻ぶんけん

[編輯へんしゅう]
  1. ^ Hadoop Releases. apache.org. Apache Software Foundation. [2019-04-28]. （原始げんし內容存そん檔於2019-04-28）. 
  2. ^ Release 3.4.0 available. [2024年ねん4月がつ10日とおか]. 
  3. ^ Welcome to Apache Hadoop!. hadoop.apache.org. [2016-08-25]. （原始げんし內容存そん檔於2017-09-23）. 
  4. ^ Malak, Michael. Data Locality: HPC vs. Hadoop vs. Spark. datascienceassn.org. Data Science Association. 2014-09-19 [2014-10-30]. （原始げんし內容存そん檔於2017-09-10）. 
  5. ^ Wang, Yandong; Goldstone, Robin; Yu, Weikuan; Wang, Teng. Characterization and Optimization of Memory-Resident MapReduce on HPC Systems. 2014 IEEE 28th International Parallel and Distributed Processing Symposium. IEEE. October 2014: 799–808. ISBN 978-1-4799-3800-1. S2CID 11157612. doi:10.1109/IPDPS.2014.87. 
  6. ^ Resource (Apache Hadoop Main 2.5.1 API). apache.org. Apache Software Foundation. 2014-09-12 [2014-09-30]. （原始げんし內容存そん檔於2014-10-06）. 
  7. ^ Murthy, Arun. Apache Hadoop YARN – Concepts and Applications. hortonworks.com. Hortonworks. 2012-08-15 [2014-09-30]. （原始げんし內容存そん檔於2017-09-11）. 
  8. ^ Continuuity Raises $10 Million Series A Round to Ignite Big Data Application Development Within the Hadoop Ecosystem. finance.yahoo.com. Marketwired. 2012-11-14 [2014-10-30]. （原始げんし內容存そん檔於2017-09-10）. 
  9. ^ Hadoop-related projects at. Hadoop.apache.org. [2013-10-17]. （原始げんし內容存そん檔於2017-09-23）. 
  10. ^ Data Science and Big Data Analytics: Discovering, Analyzing, Visualizing and Presenting Data. John Wiley & Sons. 2014-12-19: 300 [2015-01-29]. ISBN 9781118876220. 
  11. ^ nlpatumd; Adventures with Hadoop and Perl. Mail-archive.com. 2010-05-02 [2013-04-05]. （原始げんし內容存そん檔於2017-08-14）. 
  12. ^ Yahoo! Launches World's Largest Hadoop Production Application (Hadoop and Distributed Computing at Yahoo!). [2008-09-04]. （原始げんし內容存そん檔於2008-05-14）. 
  13. ^ PoweredBy. [2008-09-07]. （原始げんし內容存そん檔於2012-11-29）. 
  14. ^ Creating Hadoop pe under SGE. Sun Microsystems. 2008-01-16 [2008-09-04]. （原始げんし內容存そん檔於2008-09-12）. 
  15. ^ HDFS-Aware Scheduling With Grid Engine (PDF). Sun Microsystems. 2009-09-10. [永久えいきゅう失效しっこう連結れんけつ]
  16. ^ Condor integrated with Hadoop's Map Reduce (PDF). 威い斯康辛からし大學だいがく麥むぎ迪すすむ遜へりくだ分校ぶんこう. 2010-04-15 [2011-03-15]. （原始げんし內容存そん檔 (PDF)於2011-04-01）. 

外部がいぶ連結れんけつ

[編輯へんしゅう]

取と自じ "https://zh.wikipedia.org/w/index.php?title=Apache_Hadoop&oldid=84091715"