码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop的NullWritable

时间:2019-04-21 00:31:40      阅读:222      评论:0      收藏:0      [点我收藏+]

标签:reduce   不可   interrupt   http   logparser   定义   col   htm   parse   

NullWritable是Writable的一个特殊类,实现方法为空实现,不从数据流中读数据,也不写入数据,只充当占位符,如在MapReduce中,如果你不需要使用键或值,你就可以将键或值声明为NullWritable,NullWritable是一个不可变的单实例类型。

比如,我设置map的输出为,这样做:

1 @Override
2 protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
3 String line = value.toString();
4 WebLogBean webLogBean = WebLogParser.parser(line);
5 WebLogParser.filtStaticResource(webLogBean, pages); // 过滤js/图片/css等静态资源
6 k.set(webLogBean.toString()); 
7 context.write(k, NullWritable.get(););
8 }

不能使用new NullWritable()来定义,获取空值只能NullWritable.get()来获取

来自https://www.cnblogs.com/Skyar/p/5815486.html

Hadoop的NullWritable

标签:reduce   不可   interrupt   http   logparser   定义   col   htm   parse   

原文地址:https://www.cnblogs.com/lcmichelle/p/10743349.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!