标签:reduce 不可 interrupt http logparser 定义 col htm parse
NullWritable是Writable的一个特殊类,实现方法为空实现,不从数据流中读数据,也不写入数据,只充当占位符,如在MapReduce中,如果你不需要使用键或值,你就可以将键或值声明为NullWritable,NullWritable是一个不可变的单实例类型。
比如,我设置map的输出为,这样做:
1 @Override 2 protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { 3 String line = value.toString(); 4 WebLogBean webLogBean = WebLogParser.parser(line); 5 WebLogParser.filtStaticResource(webLogBean, pages); // 过滤js/图片/css等静态资源 6 k.set(webLogBean.toString()); 7 context.write(k, NullWritable.get();); 8 }
不能使用new NullWritable()来定义,获取空值只能NullWritable.get()来获取
来自https://www.cnblogs.com/Skyar/p/5815486.html
标签:reduce 不可 interrupt http logparser 定义 col htm parse
原文地址:https://www.cnblogs.com/lcmichelle/p/10743349.html