标签：
1.1读取hdfs中的文件。每一行解析成一个<k,v>。每一个键值对调用一次map函数 解析成2个<k,v>，分别是<0, hello you><10, hello me>。调用2次map函数。
1、读文件解析 <k1,v1>
1.2 覆盖map()，接收1.1产生的<k,v>，进行处理，转换为新的<k,v>输出 public void map(k, v, ctx){
String[] splited = v.split("\t");
2、覆盖map，原始k、v 变新k、v for(String word : splited){
ctx.write(word, 1);
}
1.3 对1.2输出的<k,v>进行分区。默认分为1个区。 }
3、 <k,v>进行分区 <k2,v2>
1.4 对不同分区中的数据进行排序(按照k)、分组。分组指的是相同key的value放到一个集合中。 map输出后的数据是:<hello,1>,<you,1>,<hello,1>,<me,1>
4、k、v排序、分组 排序后是:<hello,1>,<hello,1>,<me,1>,<you,1>
分组后是:<hello,{1,1}>,<me,{1}>,<you,{1}>
1.5 (可选)对分组后的数据进行规约。
5、规约
2.1 多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点上。
6、map输出到reduce //reduce函数被调用的次数是3
2.2 对多个map的输出进行合并、排序。覆盖reduce函数接收的是分组后的数据， public void reduce(k,vs, ctx){
实现自己的业务逻辑，处理后，产生新的<k,v>输出。 long sum = 0L;
for(long times : vs){
7、合并、排序 sum += times;
}
ctx.write(k, sum);
}
<k3,v3>
2.3 对reduce输出的<k,v>写到hdfs中。 hello 2
me 1
8、k、v写回hdfs you 1
标签：
原文地址：http://www.cnblogs.com/catWang/p/4316750.html
