码迷,mamicode.com
首页 > 编程语言 > 详细

hadoop —— Reducer全排序

时间:2018-05-28 10:10:14      阅读:294      评论:0      收藏:0      [点我收藏+]

标签:目录   cep   getconf   ring   next   style   oop   put   mil   

目录      

一、关于Reducer全排序

  1.1、  什么叫全排序

  1.2、  分区的标准是什么

二、全排序的三种方式

  2.1、  一个Reducer

  2.2、  自定义分区函数

  2.3、  采样


 

 

 

  一、关于Reducer全排序  

1.1、什么叫全排序?

在所有的分区(Reducer)中,KEY都是有序的:

  • 正确举例:如Reducer分区1中的KEY是1、3、4,分区2中的key是5、8、9
  • 错误举例:如Reducer分区1中的KEY是1、3、4,分区2中的key是2、7、9

 

1.2、数据分区的标准是什么?

默认的分区方式是根据mapper后的key的hash值,除以Reducer的分区数量,取其余数判定;例:

  • 某key的hash值是999,此时有3个分区(Reducer),则999 % 3 = 0;则该key和其对应value会分在第一个区(同理,当余数为1,2时会分在对应的另外两个区)。

注意:若key的类型是Text类(或IntWritable等)的,则计算的是Text类型的key的hash值,而非通过Text获取到的String(或int等)类型的hash值。

 也可自定义分区的判定方式,见下2.2、自定义分区函数


 

  二、全排序的三种方式  

  • 一个Reduce
  • 自定义分区函数
  • 采样

 

2.1、一个Reduce

只有一个Reduce分区,自然是全排序效果

 


2.2、自定义分区函数

  1. 创建一个继承Partitioner的类,如:Partition
  2. 重写其”getPartition“方法,作为判断分区的依据
  3. 在main的job中将其加入:job.setPartitionerClass(Partition.class);

以随机分区为例,伪代码如下:

 1 public class Partition extends Partitioner <Text,IntWritable>{
 2 
 3     @Override
 4     public int getPartition(Text text, IntWritable intWritable, int numPartitions) {
 5         Random r = new Random();
 6         //根据分区的数量(numPartitions),获取一个随机值返回,返回的值作为Key判断分区的依据
 7         int i = r.nextInt(numPartitions);
 8         return i;
 9     }
10 }
11 
12 public class RandomAPP {
13     public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
14         ......
15 
16         //放判断放入分区的方式(随机放入)
17         job.setPartitionerClass(Partition.class);
18         
19         ......
20 
21         //等待执行MapperReducer
22         job.waitForCompletion(true);
23     }
24 }

 

 


 

2.3、采样:TotalOrderPartition

  • RandomSampler:随机采样 ,性能差,适合乱序数据
  • IntervalSampler:间隔采样 ,性能较好,适合有序数据
  • SplitSampler:切片采样 ,性能较好,适合有序数据

 

以随机采样为例,伪代码如下:

注:以下需要放在App中设置配置文件的后面

 1         //在App中指定分区函数类
 2         job.setPartitionerClass(TotalOrderPartition.class);
 3 
 4         //设置文件的写入路径
 5         TotalOrderPartition.setPartitionFile(job.getConfiguration(),new Path("E:/par.dat"));
 6 
 7         /**
 8          * 初始化采样器
 9          * RandomSampler    采用随机采样的方式
10          * freq             每个Key被选中的概率     freq x key > 分区数
11          * numSamples       需要的样本数           numSamples  > 分区数
12          * maxSplitsSampled 文件最大切片数         maxSplitsSampled > 当前切片数
13          */
14         InputSampler.RandomSampler = new InputSampler.RandomSampler(freq, numsamples,maxsplitsSampled );
15 
16         //写入采样数据
17         InputSampler.writePartitionFile(job,sampler);

 


 

    Over    

 

hadoop —— Reducer全排序

标签:目录   cep   getconf   ring   next   style   oop   put   mil   

原文地址:https://www.cnblogs.com/yiwanfan/p/9098366.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!