标签：style blog http color java 使用 os strong
人们对于Mapreduce程序刚开始时都认为只需要一个reduce就够了。毕竟，在你处理数据之前一个reducer已经把数据都分好类了，有谁不喜欢分好类的数据呢。但是这样我们就忽略了并行计算的优势。如果只有一个reducer，我们的云计算就退化成了一个小雨点。
在多个reducer的情况下，我们需要某种机制来控制mapper的结果的分配问题。这是就Partitioner的工作了。
在默认情况下，hadoop通过比较key的hash值来分配，默认使用HashPartitioner。有时默认的功能不能满足我们的要求，比如我们以前自定义的Edge类（http://blog.csdn.net/on_way_/article/details/8589187）。当我们想要知道每个机场乘客起飞的数量时。我们有如下数据
(北京， 上海) 张三
(北京， 青岛) 李四。。。。。。。
如果我们用HashPartitioner来分配，那么这两行就会被送往不同的reducer上，机场起飞的数量就会被算两次，而且每次都是错误的。
我们需要为我们的应用程序定制一个partitioner。
下面的这张图给出了Partitioner的具体解释
Hadoop里的Partitioner,布布扣,bubuko.com
标签：style blog http color java 使用 os strong
原文地址：http://blog.csdn.net/christprince007/article/details/38372553
