标签:
在读hadoop源码时候,发现Partitioner决定map输出将被分到哪个reduce节点。
而Patitioner(默认使用hashpartitioner)是根据每条记录的主键值 取hashcode,同一个主键的记录会被分区到统一reduce节点上,
但是不同的主键也有可能被分到同一reduce节点(因为hashcode并不能保持唯一),eg:
有俩个map结果<a,3> ,<b,3> 假设a,b的hashcode一样,那reduce同时接收了a,b的map结果。
这个的实现方式在涉及海量数据的数据库的分区也被经常用到
标签:
原文地址:http://my.oschina.net/osenlin/blog/464508