码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop又见hashcode

时间:2015-06-09 12:07:38      阅读:80      评论:0      收藏:0      [点我收藏+]

标签:

在读hadoop源码时候,发现Partitioner决定map输出将被分到哪个reduce节点。

而Patitioner(默认使用hashpartitioner)是根据每条记录的主键值 取hashcode,同一个主键的记录会被分区到统一reduce节点上, 

但是不同的主键也有可能被分到同一reduce节点(因为hashcode并不能保持唯一),eg:

有俩个map结果<a,3> ,<b,3> 假设a,b的hashcode一样,那reduce同时接收了a,b的map结果。

这个的实现方式在涉及海量数据的数据库的分区也被经常用到 


hadoop又见hashcode

标签:

原文地址:http://my.oschina.net/osenlin/blog/464508

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!