---恢复内容开始---1、解析Partiton 把map任务的输出的中间结果按照key的范围进行划分成r份，r代表reduce任务的个数。hadoop默认有个类HashPartition实现分区，通过key对reduce的个数取模(key%r),这样可以保证一段范围内的key交由一个reduce....
分类：
其他好文 时间：
2015-04-06 23:14:26
阅读次数：
332
---恢复内容开始---shuffle和排序过程图如下：MapReduce确保每个reduce的输入都按键排序，系统执行排序的过程——将map输出作为输入传给reduce——成为shuffle，理解shuffle的工作原理，有助于MapReduce程序的优化，因为shuffle属于不断被优化和改进的...
分类：
其他好文 时间：
2015-04-06 21:33:39
阅读次数：
436
好吧开始读zepto的源代码，最前面给处理trim和reduce的原生实现，感觉写的很紧凑，其中reduce写的有点晦涩，个人感觉还不错。主要zepto的作者是无分号党，看起了有点不习惯。 3 if (String.prototype.trim === undefined) // fix f...
分类：
编程语言 时间：
2015-04-06 18:38:52
阅读次数：
137
Python内置函数 lambda、filter、map、reduce Python内置了一些比较特殊且实用的函数，使用这些能使你的代码简洁而易读。 下面对 Python的 lambda、filter、map、reduce 进行初步的学习。 lambda 匿名函数 lambda语句中，冒...
分类：
编程语言 时间：
2015-04-05 20:18:06
阅读次数：
136
Python是一门非常简洁，非常优雅的语言，其非常多内置函数结合起来使用，能够使用非常少的代码来实现非常多复杂的功能，假设相同的功能要让C/C++/Java来实现的话，可能会头大，事实上Python是将复杂的数据结构隐藏在内置函数中，用C语言来实现，所以仅仅要写出自己的业务逻辑Python会自己主动...
分类：
移动开发 时间：
2015-03-31 23:48:50
阅读次数：
228
map: (K1, V1) → list(K2, V2)reduce: (K2, list(V2)) → list(K3, V3)(K1, V1):jobConf.setInputKeyClass(K1. class );jobConf.setInputValueClass(V1. class );...
分类：
其他好文 时间：
2015-03-31 12:40:53
阅读次数：
159
1.首先是一些术语的说明。MapReduce作业(job)是客户端执行的单位：它包括输入数据、MapReduce程序和配置信息。Hadoop通过把作业分成若干个小任务(task)来工作，其包括两种类型的任务：map任务和reduce任务。2.有两种类型的节点控制着作业执行过程：jobtracker和多个tasktracker..
分类：
其他好文 时间：
2015-03-30 19:01:13
阅读次数：
110
首先是一些术语的说明。MapReduce作业(job)是客户端执行的单位：它包括输入数据、MapReduce程序和配置信息。Hadoop通过把作业分成若干个小任务(task)来工作，其包括两种类型的任务：map任务和reduce任务。 有两种...
分类：
其他好文 时间：
2015-03-30 16:42:35
阅读次数：
200
1. 首先是一些术语的说明。MapReduce作业(job)是客户端执行的单位：它包括输入数据、MapReduce程序和配置信息。Hadoop通过把作业分成若干个小任务(task)来工作，其包括两种类型的任务：map任务和reduce任务。
2. 有两种类型的节点控制着作业执行过程：jobtracker和多个tasktracker。jobtracker通过调度任务在taskt...
分类：
其他好文 时间：
2015-03-30 13:29:57
阅读次数：
179
一、MapReduce概述
MapReduce 是 Hadoop 的核心组成, 是专用于进行数据计算的，是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.MapReduce由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。这两个函数的形参是key、value对，表示函数的输入输出信息。
ma...
分类：
其他好文 时间：
2015-03-30 09:33:45
阅读次数：
175
