一、概述 MapReduce框架对处理结果的输出会根据key值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的，在我们实际的需求当中，往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现，网络上已经有很多人分享过了，但是对二次排序的实现原理及整个MapReduce框
分类：
编程语言 时间：
2016-01-31 21:17:38
阅读次数：
243
本文主要介绍下二次排序的实现方式 我们知道MapReduce是按照key来进行排序的，那么如果有个需求就是先按照第一个字段排序，在第一个字段相等的情况下，按照第二个字段排序，这就是传说中的二次排序。 下面就具体说一下二次排序的实现方式 主要就是4点 1.自定义一个Key 为什么要自定义一个Key，我
分类：
编程语言 时间：
2016-01-31 21:13:23
阅读次数：
278
一：背景 TopK问题应该是海量数据处理中应用最广泛的了，比如在海量日志数据处理中，对数据清洗完成之后统计某日访问网站次数最多的前K个IP。这个问题的实现方式并不难，我们完全可以利用MapReduce的Shuffle过程实现排序，然后在Reduce端进行简单的个数判断输出即可。这里还涉及到二次排序，
分类：
其他好文 时间：
2016-01-31 21:13:00
阅读次数：
291
转自：http://blog.csdn.net/heyutao007/article/details/5890103mr自带的例子中的源码SecondarySort，我重新写了一下，基本没变。这个例子中定义的map和reduce如下，关键是它对输入输出类型的定义：（java泛型编程）public s...
分类：
编程语言 时间：
2016-01-25 19:05:17
阅读次数：
209
今晚听了王家林老师的Spark IMF传奇行动第19课：spark排序，作业是：1、scala 实现二次排序，使用object apply 2；自己阅读RangePartitioner代码如下:/** * Created by 王家林 on 2016/1/10. */object Secondary...
分类：
编程语言 时间：
2016-01-25 00:02:08
阅读次数：
633
一：背景TopK问题应该是海量数据处理中应用最广泛的了，比如在海量日志数据处理中，对数据清洗完成之后统计某日访问网站次数最多的前K个IP。这个问题的实现方式并不难，我们完全可以利用MapReduce的Shuffle过程实现排序，然后在Reduce端进行简单的个数判断输出即可。这里还涉及到二次排序，不...
分类：
其他好文 时间：
2015-12-15 14:08:01
阅读次数：
216
MySQL 的order by 它涉及到三个参数:A. sort_buffer_size 排序缓存。B. read_rnd_buffer_size 第二次排序缓存。C. max_length_for_sort_data 的最大排序约束。我来简单说下MySQL的排序规则。如果查询语句select * ...
分类：
数据库 时间：
2015-10-15 20:25:48
阅读次数：
232
Design T-Shirt
Problem Description
Soon after he decided to design a T-shirt for our Algorithm Board on Free-City BBS, XKA found that he was trapped by all kinds of suggestions from everyone o...
分类：
编程语言 时间：
2015-08-21 21:37:54
阅读次数：
246
scala相较于java，代码就精简很多了： import?org.apache.spark._?
import?SparkContext._?
object?SecondarySort?{
??def?main(args:?Array[String])?{
????val?sparkConf?=?new?SparkConf()...
分类：
编程语言 时间：
2015-08-18 14:26:51
阅读次数：
224
前言：对于二次排序相信大家也是似懂非懂，我也是一样，对其中的很多方法都不理解诶，所有只有暂时放在一边，当你接触到其他的函数，你知道的越多时你对...
分类：
其他好文 时间：
2015-08-07 16:12:39
阅读次数：
442
