码迷,mamicode.com
首页 > 编程语言 > 详细

WritableComparable(排序)

时间:2020-03-22 19:36:50      阅读:86      评论:0      收藏:0      [点我收藏+]

标签:概述   tor   bean   compare   排序   key   分类   辅助   相同   

一:排序概述

  排序时是MapReduce框架最重要的操作之一

  MapTask和ReduceTask均会对数据按照key进行排序,该操作是属于Hadoop的默认行为。任何应用程序中的数据均会被排序,不管你是否需要。

  默认排序是按照字典顺序排序,实现该排序的方法是快速排序

 

二:排序分类

  (1)全排序

    只输出一个结果文件就是全排序

  (2)部分排序

    就是有多个结果文件。

  (3)辅助排序(GroupingComparator分组)

    在Reduce端进行分组。应用于:在接受的key是bean对象时,想让一个或几个字段相同的key进入到同一个reduce方法时,可以进行分组排序

  (4)二次排序

    在排序中,有两次判定条件就是二次排序。

 

三:排序实现

  bean对象作为key输出时,在bean对象类上实现WritableComparable接口然后重写compareTo方法即可实现全排序、部分排序和二次排序。

  

 

WritableComparable(排序)

标签:概述   tor   bean   compare   排序   key   分类   辅助   相同   

原文地址:https://www.cnblogs.com/lihui001/p/12547696.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!