简述
Partitioner组件可以让Map对Key进行分区，从而可以根据不同的key来分发到不同的reduce中去处理；你可以自定义key的一个分发规则，如数据文件包含不同的大学，而输出的要求是每个大学输出一个文件；Partitioner组件提供了一个默认的HashPartitioner。package org.apache.hadoop.mapreduce.lib.partition;
pub...
分类：
其他好文 时间：
2015-06-14 12:32:10
阅读次数：
145
Hadoop代码测试环境：Hadoop2.4原则：在Hadoop的MapReduce过程。Mapper阅读过程完成后数据。它将数据发送到Partitioner。由Partitioner每个记录应当采取以确定哪些reducer节点，它用于通过缺省HashPartitioner。其核心代码例如以下：/*...
分类：
其他好文 时间：
2015-06-09 19:25:44
阅读次数：
120
在读hadoop源码时候，发现Partitioner决定map输出将被分到哪个reduce节点。 而Patitioner(默认使用hashpartitioner)是根据每条记录的主键值 取hashcode,同一个主键的记录会被分区到统一reduce节点上，? 但是不同...
分类：
其他好文 时间：
2015-06-09 12:07:38
阅读次数：
80
一:Counter计数器的使用/** * 度量,在运行job任务的时候产生了那些j输出.通过计数器可以观察整个计算的过程,运行时关键的指标到底是那些.可以表征程序运行时一些关键的指标. * 计数器 counter 统计敏感单词出现次数 */public class WordCountApp { .....
分类：
其他好文 时间：
2015-06-09 07:24:07
阅读次数：
112
有了上面Mapper输出的内存存储结构和硬盘存储结构讨论，我们来仔细分析MapOutputBuffer的流程。首先是成员变量。最先初始化的是作业配置job和统计功能reporter。通过配置，MapOutputBuffer可以获取本地文件系统（localFs和rfs），Reducer的数目和Partitioner。
SpillRecord是文件spill.out{spill号}.index在内存...
分类：
其他好文 时间：
2015-06-02 17:57:00
阅读次数：
112
Partitioner就是对map输出的key进行分组，不同的组可以指定不同的reduce task处理；
Partition功能由partitioner的实现子类来实现
每写一段代码都会加深理解，程序里记录了自己的理解
FlowBean类源码：
package cn.zxl.flowcountpartitioner;
import java.io.DataInput;
import j...
分类：
其他好文 时间：
2015-05-31 12:30:41
阅读次数：
274
一、Mapper类的实现
static class MyMapper extends Mapper{
protected void map(LongWritable key, Text value, org.apache.hadoop.mapreduce.Mapper.Context context) throws IOException ,InterruptedException {...
分类：
其他好文 时间：
2015-05-29 10:06:31
阅读次数：
118
Reducer任务的数据来自于Mapper任务，也就说Mapper任务要划分数据，对于不同的数据分配给不同的Reducer任务运行。Mapper任务划分数据的过程就称作Partition。负责实现划分数据的类称作Partitioner。默认的分区类是HashPartitioner，是处理Mapper...
分类：
其他好文 时间：
2015-04-23 10:48:22
阅读次数：
112
一、初步探索Partitioner1.1 再次回顾Map阶段五大步凑 在第四篇博文《初始MapReduce》中，我们认识了MapReduce的八大步凑，其中在Map阶段总共五个步凑，如下图所示： 其中，step1.3就是一个分区操作。通过前面的学习我们知道Mapper最终处理的键值对，是需要送到.....
分类：
其他好文 时间：
2015-02-23 01:23:12
阅读次数：
242
