Apache Hadoop[编辑]
Doug Cutting, Mike Cafarella | |
开发 | Apache软件 |
2006 | |
| |
编程语言 | Java |
类型 | |
许可协议 | Apache许可证 2.0 |
网站 | hadoop |
Apache Hadoop
Apache Hadoop
Apache Hadoop
- Hadoop Common –
包含 了 其他Hadoop模 块所需的库和实用程 序 ; - Hadoop Distributed File System (HDFS) – 一种将数据存储在集群中多个节点中的分布式文件系统,
能 够提供 很高的 带宽; - Hadoop YARN – (于2012
年 引入) 一个负责管理集群中计算资源,并实现用户程序 调度的 平台 [6][7]; - Hadoop MapReduce –
用 于大规模数 据 处理的 MapReduce计算模型 实现; - Hadoop Ozone – (于2020
年 引入) Hadoop的 对象存 储。
Hadoop 一词通常代指其基本模块和子模块以及生态系统[8],
Apache Hadoop
Hadoop
主要 子 项目
[编辑]- Hadoop Common:
在 0.20及以前 的 版本 中 ,包含 HDFS、MapReduce和 其他项目公共 内容 ,从0.21开始HDFS和 MapReduce被 分 离为独立 的 子 项目,其余内容 为Hadoop Common - HDFS:Hadoop
分布 式 文 件 系 统(Distributed File System)-HDFS(Hadoop Distributed File System) - MapReduce:并行计算
框 架 ,0.20前 使用 org.apache.hadoop.mapred旧 接 口 ,0.20版本 开始引入org.apache.hadoop.mapreduce的 新 API
相 关项目
[编辑]- Apache HBase:
分布 式 NoSQL列 数 据 库,类似谷 歌 公司 BigTable。 - Apache Hive:构建于hadoop
之 上 的 数 据 仓库,通 过一种类SQL语言HiveQL为用户提供 数 据 的 归纳、查询和 分析 等 功 能 。Hive最初 由 Facebook贡献。 - Apache Mahout:
机 器 学 习算法 软件包 。 - Apache Sqoop:结构
化 数 据 (如关系数 据 库)与 Apache Hadoop之 间的数 据 转换工具 。 - Apache ZooKeeper:
分布 式 锁设施 ,提供 类似Google Chubby的 功 能 ,由 Facebook贡献。 - Apache Avro:
新 的 数 据 序列 化 格式 与 传输工具 ,将 逐步取 代 Hadoop原 有 的 IPC机 制 。
知名 用 户
[编辑]Hadoop在 Yahoo!的 应用
[编辑]2008
其他用 户
[编辑]其他
Hadoop与 Sun Grid Engine
[编辑]Hadoop与 Condor
[编辑]参 见
[编辑]参考 文献
[编辑]- ^ Hadoop Releases. apache.org. Apache Software Foundation. [2019-04-28]. (
原始 内容 存 档于2019-04-28). - ^ Release 3.4.0 available. [2024
年 4月 10日 ]. - ^ Welcome to Apache Hadoop!. hadoop.apache.org. [2016-08-25]. (
原始 内容 存 档于2017-09-23). - ^ Malak, Michael. Data Locality: HPC vs. Hadoop vs. Spark. datascienceassn.org. Data Science Association. 2014-09-19 [2014-10-30]. (
原始 内容 存 档于2017-09-10). - ^ Wang, Yandong; Goldstone, Robin; Yu, Weikuan; Wang, Teng. Characterization and Optimization of Memory-Resident MapReduce on HPC Systems. 2014 IEEE 28th International Parallel and Distributed Processing Symposium. IEEE. October 2014: 799–808. ISBN 978-1-4799-3800-1. S2CID 11157612. doi:10.1109/IPDPS.2014.87.
- ^ Resource (Apache Hadoop Main 2.5.1 API). apache.org. Apache Software Foundation. 2014-09-12 [2014-09-30]. (
原始 内容 存 档于2014-10-06). - ^ Murthy, Arun. Apache Hadoop YARN – Concepts and Applications. hortonworks.com. Hortonworks. 2012-08-15 [2014-09-30]. (
原始 内容 存 档于2017-09-11). - ^ Continuuity Raises $10 Million Series A Round to Ignite Big Data Application Development Within the Hadoop Ecosystem. finance.yahoo.com. Marketwired. 2012-11-14 [2014-10-30]. (
原始 内容 存 档于2017-09-10). - ^ Hadoop-related projects at. Hadoop.apache.org. [2013-10-17]. (
原始 内容 存 档于2017-09-23). - ^ Data Science and Big Data Analytics: Discovering, Analyzing, Visualizing and Presenting Data. John Wiley & Sons. 2014-12-19: 300 [2015-01-29]. ISBN 9781118876220.
- ^ nlpatumd; Adventures with Hadoop and Perl. Mail-archive.com. 2010-05-02 [2013-04-05]. (
原始 内容 存 档于2017-08-14). - ^ Yahoo! Launches World's Largest Hadoop Production Application (Hadoop and Distributed Computing at Yahoo!). [2008-09-04]. (
原始 内容 存 档于2008-05-14). - ^ PoweredBy. [2008-09-07]. (
原始 内容 存 档于2012-11-29). - ^ Creating Hadoop pe under SGE. Sun Microsystems. 2008-01-16 [2008-09-04]. (
原始 内容 存 档于2008-09-12). - ^ HDFS-Aware Scheduling With Grid Engine (PDF). Sun Microsystems. 2009-09-10.[
永久 失效 链接] - ^ Condor integrated with Hadoop's Map Reduce (PDF).
威 斯康辛 大学 麦 迪 逊分校 . 2010-04-15 [2011-03-15]. (原始 内容 存 档 (PDF)于2011-04-01).
外部 链接
[编辑]