1. Hive自己如何确定reduce数：reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定：hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^...
分类：
其他好文 时间：
2015-05-06 17:05:48
阅读次数：
251
1. Combinercombiner is between map and reduce, similar to reducer, combine some data before reducer.http://hadooptutorial.wikispaces.com/Custom+combin...
分类：
其他好文 时间：
2015-04-28 13:42:33
阅读次数：
192
Combiner作用是合并Mapper的输出，Combiner的输出作为Reducer的输入，这样可以减少map任务和reducer任务之间的数据传输。1、在Job中设置Combiner和不设置Combiner，观察Reducer输入情况使用如下代码设置Combinerjob.setCombinerClass(MaxTemperatureReducer.class);@Override p..
分类：
其他好文 时间：
2015-04-24 16:33:08
阅读次数：
143
作用：在Mapper端对数据进行Combine归约处理，Combine业务逻辑与Reducer端做的完全相同。处理后的数据再传送到Reducer端，再做一次归约。这样的好处是减少了网络传输的数量。在Mapper进行归约后，数据量变小了，这样再通过网络传输时，传输时间就变短了，减少了整个作业的运行时间...
分类：
其他好文 时间：
2015-04-23 10:51:40
阅读次数：
176
Reducer任务的数据来自于Mapper任务，也就说Mapper任务要划分数据，对于不同的数据分配给不同的Reducer任务运行。Mapper任务划分数据的过程就称作Partition。负责实现划分数据的类称作Partitioner。默认的分区类是HashPartitioner，是处理Mapper...
分类：
其他好文 时间：
2015-04-23 10:48:22
阅读次数：
112
什么是Hadoop Streaming Hadoop提供的一个编程工具，允许用户使用任何可执行文件或脚本作为mapper和Reducer 一个例子(shell简洁版本) $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop...
分类：
其他好文 时间：
2015-04-05 11:51:12
阅读次数：
146
什么是Hadoop Streaming Hadoop提供的一个编程工具，允许用户使用任何可执行文件或脚本作为mapper和Reducer 比如shell中的cat作为mapper，wc作为reducer $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib...
分类：
其他好文 时间：
2015-04-03 22:31:42
阅读次数：
227
set hive.exec.reducers.bytes.per.reducer=2000000000; ##每个reduce任务处理的数据量，默认为1000^3=1G set hive.groupby.skewindata = true ##对于join和Group操作都可能会出现数据倾斜 set hive.optimize.sk...
分类：
其他好文 时间：
2015-03-13 20:54:49
阅读次数：
166
正确设置Hadoop程序运行时的参数可以提高程序的运行效率，但是错误的设置也会带来效率的降低，甚至程序的失败。我今天就遇到了这种情况，事情是这样的：在Hadoop的配置中有这样一个参数：mapred.reduce.slowstart.completed.maps: 这个参数控制reducer何时开始...
分类：
其他好文 时间：
2015-03-06 00:55:29
阅读次数：
159
集群上的可用宽带限制了MapReduce作业的数量，因此最重要的一点是尽量避免map任务和reduce任务之间的数据传输。Hadoop允许用户针对map任务的输出指定一个合并函数，有时候我们也称作combiner，它就像mapper和reducer一样。
合并函数的输出作为reduce函数的输入，由于合并函数是一个优化方案，所以Hadoop无法确定针对map任务输出中任一条记录需要调...
分类：
其他好文 时间：
2015-03-01 11:57:25
阅读次数：
213
