一：Mapper类
在Hadoop的mapper类中，有4个主要的函数，分别是：setup，clearup，map，run。代码如下：
protected void setup(Context context) throws IOException, InterruptedException {
// NOTHING
}
protected void map(KEYIN...
分类：
移动开发 时间：
2015-08-07 14:50:29
阅读次数：
187
MapRduce保证reducer的输入是按照key进行排过序的,原因和归并排序有关,在reducer接收到不同的mapper输出的有序数据后,需要再次进行排序,然后是分组排序,如果mapper输出的是有序数据,将减少reducer阶段排序的时间消耗.一般将排序以及Map的输出传输到Reduce.....
分类：
其他好文 时间：
2015-07-31 21:38:52
阅读次数：
183
转自：http://blog.csdn.net/jokes000/article/details/7072963众所周知，Hadoop框架使用Mapper将数据处理成一个键值对，再网络节点间对其进行整理(shuffle)，然后使用Reducer处理数据并进行最终输出。 在上述过程中，我们看到至少两....
分类：
其他好文 时间：
2015-07-31 12:06:10
阅读次数：
117
select count(distinct user_id) from dm_user where ds=20150701;
使用disticnt函数，所有的数据只会shuffle到一个reducer上，导致reducer数据倾斜严重
优化后为
set mapred.reduce.tasks=50;
select count(*) from
(select user_id...
分类：
其他好文 时间：
2015-07-28 13:11:29
阅读次数：
103
为什么需要在Mapper端进行归约处理？
为什么可以在Mapper端进行归约处理？
既然在Mapper端可以进行归约处理，为什么在Reducer端还要处理？...
分类：
其他好文 时间：
2015-07-28 10:55:06
阅读次数：
119
一个、combiner计划 每map它可能会产生大量的输出，combiner的作用是map输出端先做合并。reducer的数据量。 combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能 假设不用combiner，那么，全部的结果都是reduce完毕。效率...
分类：
编程语言 时间：
2015-07-27 16:15:28
阅读次数：
102
前四篇文章讲了Hadoop的配置和测试以及eclipse下的使用，有兴趣的可以先看下。1.Hadoop流简介用可执行文件作为Mapper和Reducer，接受的都是标准输入，输出的都是标准输出。当一个可执行文件作为Mapper时，每一个Map任务会以一个独立的进程启动这个可执行文件，然后在Map任务...
Hadoop入门例程简介一个、有些指令(1)Hadoop新与旧API差异新API倾向于使用虚拟课堂(象类)，而不是接口。由于这更easy扩展。比如，能够无需改动类的实现而在虚类中加入一个方法(即用默认的实现)。在新的API中。mapper和reducer如今都是虚类。新的API 放在org.apac...
分类：
其他好文 时间：
2015-07-12 14:10:02
阅读次数：
102
本文节选不保证论文的完整性和理解的准确性原始的MapReduce。分Map，Shuffle，Reduce。Map里包含shards。Shuffle理解为groupByKey的事情。Reduce里包含Combiner，能够定义Sharder来控制key怎么和Reducer worker相应起来。核心抽...
分类：
编程语言 时间：
2015-06-18 23:41:02
阅读次数：
181
1. Hive自己如何确定reduce数：
reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定：
hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G）
hive.exec.reducers.max（每个任务最大的reduce...
分类：
其他好文 时间：
2015-06-15 22:18:36
阅读次数：
177
