码迷,mamicode.com
首页 >  
搜索关键字:hadoop统计word数量    ( 1个结果
在hadoop上进行编写mapreduce程序,统计关键词在text出现次数
mapreduce的处理过程分为2个阶段,map阶段,和reduce阶段。在要求统计指定文件中的所有单词的出现次数时, map阶段把每个关键词写到一行上以逗号进行分隔,并初始化数量为1(相同的单词hadoop中的map会自动放到一行中) reduce阶段是把每个单词出现的频率统计出来重新写回去。 如代码: package com.clq.hadoop2; import org.apa...
分类:其他好文   时间:2014-07-23 17:16:02    阅读次数:199
1条  
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!