Counter计数器

标签：

1 Counters: 20

2 File Output Format Counters 

3     Bytes Written=28

4 FileSystemCounters

5     FILE_BYTES_READ=364

6     HDFS_BYTES_READ=84

7     FILE_BYTES_WRITTEN=129072

8     HDFS_BYTES_WRITTEN=28

9 File Input Format Counters 

10     Bytes Read=42

11 查找hello

12     hello=2

13 Map-Reduce Framework

14     Map output materialized bytes=66

15     Map input records=4

16     Reduce shuffle bytes=0

17     Spilled Records=8

18     Map output bytes=104

19     Total committed heap usage (bytes)=266469376

20     SPLIT_RAW_BYTES=98

21     Combine input records=8

22     Reduce input records=4

23     Reduce input groups=4

24     Combine output records=4

25     Reduce output records=4

26     Map output records=8

Counters: 20代表计数器总个数为20个。

第2行以下缩进少的部分表示【计数器种类】，即五种计数器，总个数为20（总行数26 - 第一行 - 组名*5 = 20）。 

1）.File Output Format Counters：文件输出格式化计数器。　

　　Bytes Written=28          //表示输出结果有28个字节，包括【单词】,【空格】,【单词个数】及每行的【换行符】。 

2）.FileSystemCounters：文件系统计数器。

• HDFS_BYTES_READ=84 map　　         //从HDFS上读取数据
• FILE_BYTES_WRITTEN=129072           //map结果输出到本地File（其实，Reduce端的Merge也会写入本地File）
• FILE_BYTES_READ=364                      //reduce从本地File读取数据
• HDFS_BYTES_WRITTEN=28                //最终结果写入HDFS

 3）.File Input Format Counters ：文件输出格式化计数器

　　Bytes Read=42             //表示输入文件的字节个数。

 4）.Map-Reduce Framework：MR框架计数器

• Map input records=4                       //表示Map输入4条记录。
• Reduce input groups=4                   //表示Reduce输入的分组个数，如<hello,{1,1}> <me,1> <you,1>
• Combine input records=8                //表示Combiner输入，即Mapper输出为8条
• Spilled Records=8                          //表示溢写记录个数为8 

自定义计数器

//自定义计数器<Key , Value>的形式

Counter counter = context.getCounter("查找hello", "hello");

if(string.contains("hello")){

counter.increment(1l);//出现一次+1

}

Counter计数器

标签：

原文地址：http://www.cnblogs.com/skyl/p/4739803.html