1 首先说一下工作原理：
在map阶段，使用job.setInputFormatClass定义的InputFormat将输入的数据集分割成小数据块splites，同时InputFormat提供一个RecordReder的实现。本例子中使用的是TextInputFormat，他提供的RecordReder会将文本的一行的行号作为key，这一行的文本作为value。这就是自定义Map的输入是的...
分类：
编程语言 时间：
2015-08-06 15:12:54
阅读次数：
187
一、概述MapReduce框架对处理结果的输出会根据key值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的。在我们实际的需求当中，往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现，本文将通过一个实际的MapReduce二次排序例子讲述二次排序的实现和其MapR...
分类：
编程语言 时间：
2015-07-16 19:01:38
阅读次数：
248
排序可分为四种排序：
普通排序
部分排序
全局排序
二次排序（比如有两列数据，第一列相同时，需要对第二列进行排序。）
普通排序
普通排序是Mapreduce本身就自带排序功能；
Text对象是不适合排序的；IntWritable，LongWritable等实现了WritableComparable类型的对象都是可以排序的；
部分排序
map和reduce处理过程中默认包含了对ke...
分类：
编程语言 时间：
2015-06-16 16:44:10
阅读次数：
191
MapReduce二次排序原理
在map阶段，使用job.setInputFormatClass定义的InputFormat将输入的数据集分割成小数据块splites，同时InputFormat提供一个RecordReader的实现。
本例子中使用的时TextInputFormat，他提供的RecordReader会将文本的字节偏移量作为key，这一行的文本作为value。
这就是自定义Ma...
分类：
编程语言 时间：
2015-03-28 14:25:03
阅读次数：
218
BC # 32 ：打 BC 的时候没看全三个关键字，WA 了五发，花了近一小时，问了一下才发现少看一个条件，于是顺利给跪。题意：给出若干城市的两次空气质量，首先按空气质量差排序，若相等则按第二次排序，再相等则按输入顺序排。 1 #include 2 #include 3 #include 4 usi...
分类：
编程语言 时间：
2015-03-11 21:31:45
阅读次数：
230
先来描述一下问题：问题描述有n小孩在比赛跳远，看谁跳的最远。每个小孩可以跳3次，这个小孩的成绩就是三次距离里面的最大值。例如，一个小孩跳3次的距离分别时10, 30和20，那么这个小孩的成绩就是30。给出每个孩子三次跳的距离，问最终每个孩子的排名是多少。问题分析：方法1： 由于原问题规模较少，只有....
分类：
编程语言 时间：
2015-01-28 17:46:20
阅读次数：
356
本文主要介绍下二次排序的实现方式
我们知道mapreduce是按照key来进行排序的，那么如果有有个需求就是先按照第一个字段排序，在第一个字段相等的情况下，按照第二个字段排序，这个其实就是二次排序。
下面就具体说一下二次排序的实现方式...
分类：
编程语言 时间：
2015-01-14 00:58:03
阅读次数：
271
Hadoop 默认排序
1 3
1 2
1 1
3 3
3 2
2 2
2 1
3 1
排序后：左右前面一列排序 后面一列不排序 要想第二列也排序 请看 Hadoop二次排序
1 3
1 2
1 1
2 2
2 1
3 3
3 2
3 1
代码为：
...
分类：
编程语言 时间：
2014-12-31 18:38:32
阅读次数：
215
hadoop 二次排序
1 3
1 2
1 1
3 3
3 2
2 2
2 1
3 1
排序后：
1 1
1 2
1 3
2 1
2 2
3 1
3 2
3 3
代码为：
package com.hadoop.test.SecondSort;
im...
分类：
编程语言 时间：
2014-12-31 18:36:32
阅读次数：
149
Hadoop二次排序的其他写法
二次排序原理
在map阶段，使用job.setInputFormatClass定义的InputFormat将输入的数据集分割成小数据块splites，同时InputFormat提供一个RecordReder的实现。
本例子中使用的是TextInputFormat，他提供的RecordReader会将文本的字节偏移量作为key，这一行的文本作为value。
这...
分类：
编程语言 时间：
2014-12-31 18:34:28
阅读次数：
316
