MapReduce

MapReduce是これGoogle提出ていしゅつ的てき一いち个软件架か构，用よう于大だい规模数すう据すえ集しゅう的てき并行运算。概念がいねん“Map（映うつ射い）”和かず“Reduce（归约）”，及他们的主要しゅよう思想しそう，都みやこ是ただし从函数かんすう式しき编程语言借か鉴的，还有从矢や量りょう编程语言借か来らい的てき特性とくせい。

当とう前まえ的てき软件实现是ぜ指定してい一いち个“Map”（映うつ射い）函数かんすう，用よう来らい把わ一组键值对映射成一组新的键值对，指定してい并发的てき“Reduce”（归约）函数かんすう，用よう来らい保ほ证所有しょゆう映うつ射的しゃてき键值对中的てき每ごと一个共享相同的键组。

映うつ射和いざわ归约

简单来らい說せつ，一个映射函数就是对一些独立元素组成的概念上的列表（例れい如，一个测试成绩的列表）的てき每ごと一个元素进行指定的操作（比ひ如，有人ゆうじん发现所有しょゆう学生がくせい的てき成なり绩都被ひ高こう估了一いち分ふん，他た可か以定义一个“减一”的てき映うつ射い函数かんすう，用よう来らい修正しゅうせい这个错误。）。事こと实上，每まい个元素げんそ都と是ぜ被ひ独立どくりつ操作そうさ的てき，而原始げんし列れつ表ひょう没ぼつ有ゆう被ひ更改こうかい，因いん为这里さと创建了りょう一个新的列表来保存新的答案。这就是ぜ说，Map操作そうさ是ぜ可か以高度ど并行的てき，这对高性能こうせいのう要求ようきゅう的てき应用以及并行计算领域的てき需求非常ひじょう有用ゆうよう。

而归约操作そうさ指ゆび的てき是ぜ对一个列表的元素进行适当的合并（继续看み前面ぜんめん的てき例れい子こ，如果有人ゆうじん想そう知道ともみち班はん级的平均へいきん分ぶん该怎么做？他た可か以定义一个归约函数，通つう过让列れつ表ひょう中ちゅう的てき奇數きすう（odd）或ある偶數ぐうすう（even）元素げんそ跟自己じこ的てき相しょう邻的元素げんそ相しょう加か的てき方式ほうしき把わ列れつ表ひょう减半，如此递归运算直ちょく到いた列れつ表ひょう只ただ剩あま下しも一いち个元素げんそ，然しか后きさき用よう这个元素げんそ除じょ以人数にんずう，就得到いた了りょう平均へいきん分ぶん）。虽然他た不ふ如映射しゃ函数かんすう那な么并行ぎょう，但ただし是ぜ因いん为归约总是ぜ有ゆう一个简单的答案，大だい规模的てき运算相しょう对独立どくりつ，所以ゆえん归约函数かんすう在ざい高度こうど并行环境下か也很有用ゆうよう。

分布ぶんぷ和わ可か靠もたれ性せい

MapReduce通どおり过把对数据すえ集しゅう的てき大だい规模操作そうさ分ぶん发给网络上じょう的てき每まい个节点てん实现可か靠もたれ性せい；每ごと个节点てん会かい周期しゅうき性的せいてき把わ完成かんせい的てき工作こうさく和わ状じょう态的更新こうしん报告回かい来らい。如果一个节点保持沉默超过一个预设的时间间隔，主しゅ节点（类同Google檔案系統けいとう中なか的てき主あるじ服ふく务器）记录下か这个节点状じょう态为死亡しぼう，并把分配ぶんぱい给这个节点てん的てき数すう据すえ发到别的节点。每まい个操作そうさ使用しよう命名めいめい文ぶん件けん的てき不可ふか分割ぶんかつ操作そうさ以确保ほ不ふ会かい发生并行线程间的冲突；当とう文ぶん件けん被ひ改名かいめい的てき时候，系けい统可能会のうかい把わ他た们复制せい到いた任にん务名以外いがい的てき另一个名字上去。（避免副作用ふくさよう）。

归约操作そうさ工作こうさく方式ほうしき很类似に，但ただし是ぜ由よし于归约操作そうさ在ざい并行能力のうりょく较差，主しゅ节点会かい尽つき量りょう把わ归约操作そうさ调度在ざい一いち个节点てん上じょう，或ある者もの离需要よう操作そうさ的てき数すう据すえ尽つき可能かのう近ちか的てき节点上うえ了りょう；这个特性とくせい可か以满足あしGoogle的てき需求，因いん为他们有足あし够的带宽，他た们的内部ないぶ网络没ぼつ有ゆう那な么多的てき机つくえ器き。

其他实现

• Hadoop－Apache軟件基金ききん會かい的てき開放かいほう源げん碼項目こうもく，提ひさげ供與きょうよMapReduce檔案系統けいとう類似るいじ的てき功こう能のう。

外部がいぶ链接

• Interpreting the Data: Parallel Analysis with Sawzall- a paper on an internal tool at Google, Sawzall, which acts as an interface to MapReduce, intended to make MapReduce much easier to use.
• Discussion （页面存そん档备份，存そん于互联网档案あん馆） on Lambda the Ultimate.