标签：style blog io ar color os 使用 sp java
MapReduce框架内置了一些计数器的支持，当然，我们也可以设置自己的计数器用来满足一些特殊的要求。
其实计数器可以用来完成很多事，关键要看你如何用，例如你想知道map输入数据的指定记录特定的信息有多少可以设置计数，还有，在MR执行过程中，一些特定事件的发生次数也可以记录。使用计数器的莫大好处在于整个计数的过程只需要再map阶段就可以完成，而且也可以不做任何输出，可以快速的得到自己想要的一些计数结果。但并不是计数器可以设置为无限多，因为计数器过多会影响JT的效率，甚至可能被自定义的分析程序拖垮。
计数器的信息是存储再JobTracker中的内存中的，TaskTracker执行任务时会对设定的信息进行计数，按照既定的条件对计数器进行累加，并聚合汇报给JT。JT在工作完成的时候做整体聚合。
首先需要定义个枚举类：
package zebra.shlgao.counters; public enum MyCounter { CounterA,CounterB }
然后在MR程序中分别计数不同Counter的数量：
package zebra.shlgao.counters; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.*; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class TestCounter { public static class CounterMapper extends Mapper<Object, Text, Text, Text>{ @Override protected void map(Object key, Text value,Context context) throws IOException, InterruptedException { // TODO Auto-generated method stub String txt = value.toString(); if (txt.contains("java")){ context.getCounter(MyCounter.CounterA).increment(1); }else{ context.getCounter(MyCounter.CounterB).increment(2); } // context.write(new Text(key), value); } } public static void main(String args[]) throws IOException, ClassNotFoundException, InterruptedException{ Configuration conf = new Configuration(); Job job = new Job(conf, "testCounter"); job.setJarByClass(TestCounter.class); job.setMapperClass(CounterMapper.class); // job.setNumReduceTasks(0); FileInputFormat.setInputPaths(job, new Path("hdfs://localhost:19000/testdir/file22m")); FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:19000/testdir/file22mResult")); int finish = job.waitForCompletion(true) ? 0 : 1 ; FileSystem fs = FileSystem.get(URI.create("hdfs://localhost:19000/testdir/file22mResult"),conf); fs.delete(new Path("hdfs://localhost:19000/testdir/file22mResult"),true);//删除空的输出路径 System.exit(finish); } }
由于这里是快速计数，所以可以不必做任何输出，但是在配置Job的时候必须定义输出路径，所以可以在最后将空的输出路径删除。
标签：style blog io ar color os 使用 sp java
原文地址：http://www.cnblogs.com/gslyyq/p/4127280.html
