码迷,mamicode.com
首页 > 其他好文 > 详细

KeyOnlyFilter(2)

时间:2017-04-27 23:13:52      阅读:284      评论:0      收藏:0      [点我收藏+]

标签:int   ann   data-   blocks   http   clip   api   als   tac   

主要用来过滤剩下行键计数一类

KeyOnlyFilter

官方API解释如下:

A filter that will only return the key component of each KV (the value will be rewritten as empty).

This filter can be used to grab all of the keys without having to also grab the values.

此filter可以用来计数,但是效率没有FirstKeyOnlyFilter高

如果需要用FirstKeyOnlyFilter 可以参考我这篇关于FirstKeyOnlyFilter的文章,地址如下

http://blog.csdn.NET/liuxiaochen123/article/details/7878580

 

KeyOnlyFilter实例代码如下,比较简单,意思到就行

 

[java] view plain copy
 
  1. <span style="font-size:12px;">public int getCount1() {  
  2.         long bef = System.currentTimeMillis();  
  3.         int i = 0;  
  4.         ResultScanner rs = null;  
  5.         try {  
  6.             Scan s = new Scan();  
  7.             s.setCaching(500);  
  8.             s.setCacheBlocks(false);  
  9.             s.setFilter(new KeyOnlyFilter());  
  10.             rs = tableKeyword.getScanner(s);  
  11.         } catch (IOException e) {  
  12.             log.warn(e);  
  13.             e.printStackTrace();  
  14.         }  
  15.         for (org.apache.hadoop.hbase.client.Result r : rs) {  
  16.             i++ ;  
  17.         }  
  18.         long now = System.currentTimeMillis();  
  19.         log.warn("keyword表中数据总数 :" + i + ", 所用时间 : " + (now - bef)/1000.0);  
  20.         rs.close();  
  21.         return i;  
  22.     }</span>  


最好设置tableKeyword.setScannerCaching(500);

 

s.setCaching(500);
s.setCacheBlocks(false);这三个参数,否则速度会降下来很多

总的来说,可以节省很多时间

KeyOnlyFilter(2)

标签:int   ann   data-   blocks   http   clip   api   als   tac   

原文地址:http://www.cnblogs.com/yaohaitao/p/6777664.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!