MapReduce实现单词统计

标签：分享   单词   hdf   分享图片   data   src   开发工具   XML   主函数   

 开发工具：IDEA

mapreduce实现思路：

Map阶段：

a) 从HDFS的源数据文件中逐行读取数据

b) 将每一行数据切分出单词

c) 为每一个单词构造一个键值对(单词，1)

d) 将键值对发送给reduce

Reduce阶段：

a) 接收map阶段输出的单词键值对

b) 将相同单词的键值对汇聚成一组

c) 对每一组，遍历组中的所有“值”，累加求和，即得到每一个单词的总次数

d) 将(单词，总次数)输出到HDFS的文件中

代码实现：

porm.xml导入依赖：

导入包：

Map端：

Reduce端：

主函数：

MapReduce实现单词统计

标签：分享   单词   hdf   分享图片   data   src   开发工具   XML   主函数   

原文地址：https://www.cnblogs.com/dummyly/p/10078335.html