标签:reducer bsp hdfs 内容 mapper 分布 重写 nbsp 需求
MapReduce 基于HDFS
1.环境搭建起来 伪分布式
2.MapReduce是基于HDFS之上的 MapReduce计算的内容应该是HDFS上的文件/文件夹
3.计算=>统计=>Mapper阶段=>Reduce阶段 MapReduce的编程模型
4.Mapper类 继承Mapper类 重写Mapper方法
5.Reduce类 继承Reducer类 重写Reduce方法
6.Driver类=Mapper+Reduce+HDFS 整合起来
7.打成一个jar包 上传到Linux上面
8.hadoop jar jar包 Driver类 把任务跑起来
9.MapReduce的开发 任务式开发 开发的一个个MapReduce程序 实际上就是一个个任务
10.只是针对各种任务 它的需求不同 总体来说WordCount程序是最精华的程序
Map阶段
Reduce阶段
标签:reducer bsp hdfs 内容 mapper 分布 重写 nbsp 需求
原文地址:https://www.cnblogs.com/Tsugar/p/12431564.html