码迷，mamicode.com
首页 > 编程语言 > 详细

HBASE之shell操作和Java访问

时间：2015-05-28 15:42:18      阅读：344      评论：0      收藏：0      [点我收藏+]

标签：

对数据库HBASE的操作有shell端和java API两种方式。
在此之前要先说一下HBASE的结构及其数据存储结构：
HBASE是基于HDFS的，是一种NoSQL的数据库。它的数据模型如下所示：
 
Row Key Timestamp Column Family
URI Parser
r1 t3 url=http://www.taobao.com title=天天特价
t2 host=taobao.com  
t1    
r2 t5 url=http://www.alibaba.com content=每天…
t4 host=alibaba.com  
RowKey：行键，也是表的主键。表中的记录是按照Row Key排序。
Timestamp：时间戳，每次数据操作对应的时间戳，可以看作数据的version number。
ColumnFamily：列簇，Table在水平方向有一个或者多个Column Family组成，一个Column Family中可以由任意多个Column组成，即Column Family支持动态扩展，无需预先定义Column的数量以及类型，所有Column均以二进制格式存储，用户需要自行进行类型转换。
 
  • shell操作
shell中输入 hbase shell进入hbase操作，假设这样的person表：
rowid,username,userid,birth,phone,sex
创建该表需要使用：
  1. create ‘person‘,‘username‘,‘userid‘,‘birth‘,‘phone‘,‘sex‘
第一个是表名，后面都是属性，rowkey列不需要自己创建和设定列名。
ps，hbase shell 中，都没有分号做结尾。而且表名列名基本都加引号，这和SQL不一样。
加入单个数据，我们使用put命令。注意put命令的操作，只能一行一列的单个值去添加，不能一次加一行：
  1. put ‘person‘,‘1‘,‘username‘,‘Aran‘
表示person表中行号（row key）为1列名为username的值为Aran。
如果清空表，需要：
  1. truncate ‘person‘
如果删除表，需要：
  1. disable ‘person‘
  2. drop ‘person‘
Hbase中的查询分为两种：以rowkey方式的行查询，和以值为基础遍历.
rowkey方式：
  1. get ‘person‘,‘1‘
值查询：
  1. scan ‘person‘,FILTER=>"ValueFilter(=,‘binary:1992-2-12‘)"
 
Hbase支持cvs格式批量导入：
类似这样格式的文件    1,User1,8237764069450,2001-8-19,682318616,1
可以在shell中（不是hbase shell中）导入：
  1. hbase org.apache.hadoop.hbase.mapreduce.ImportTsv-Dimporttsv.separator=","-Dimporttsv.columns=HBASE_ROW_KEY,username,userid,birth,phone,sex person hdfs://192.168.70.28:9000/dataImport/HbaseTable-1.cvs
分割符为,并且，导入不用写rowkey，默认第一个就是rowkey。
就介绍这么多。详细的请参考：
 
  • JAVA API
对于开发者而言，通过shell去操作数据还是很少见。我们可以使用JAVA API。
新建Java项目，添加的包有Hadoop下的Hadoop-core和Hbase/lib/下的所有jar。
只写了查询相关的Func，直接上代码：
  1. import java.io.IOException;
  2. import java.util.Iterator;
  4. import org.apache.hadoop.conf.Configuration;
  5. import org.apache.hadoop.hbase.HBaseConfiguration;
  6. import org.apache.hadoop.hbase.HConstants;
  7. import org.apache.hadoop.hbase.KeyValue;
  8. import org.apache.hadoop.hbase.client.Get;
  9. import org.apache.hadoop.hbase.client.HTable;
  10. import org.apache.hadoop.hbase.client.HTablePool;
  11. import org.apache.hadoop.hbase.client.Result;
  12. import org.apache.hadoop.hbase.client.ResultScanner;
  13. import org.apache.hadoop.hbase.client.Scan;
  14. import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
  15. import org.apache.hadoop.hbase.filter.Filter;
  16. import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
  18. publicclassHbaseAPI{
  19. privatestaticConfiguration conf =null;
  20. static{
  21. conf =HBaseConfiguration.create();
  22. conf.set("hbase.zookeeper.property.clientPort","2181");
  23. conf.set("hbase.zookeeper.quorum","192.168.70.29");
  24. conf.set("hbase.master","192.168.70.28:60000");
  25. //timeout time
  26. conf.setLong(HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY,1200000);  
  27. }
  29. //query by rowkey
  30. publicstaticvoidQueryByrowKey(String tableName,String rowKey){
  31. try{
  33. HTable table =newHTable(conf,tableName);
  34. Get g =newGet(rowKey.getBytes());
  35. long start =System.currentTimeMillis();
  36. Result r = table.get(g);
  37. /*System.out.println("column：rowkey"  
  38.                         + "====value:" + new String(r.getRow()));
  39. for (KeyValue keyValue : r.raw()) {  
  40.                 System.out.println("column：" + new String(keyValue.getFamily())  
  41.                         + "====value:" + new String(keyValue.getValue()));  
  42.             }*/
  43. long end =  System.currentTimeMillis();
  44. System.out.println(end-start);
  45. }catch(IOException e){
  46. // TODO Auto-generated catch block
  47. e.printStackTrace();
  48. }
  51. }
  53. //query by condition
  54. publicstaticvoidQueryByCondition(String tableName,String columnName,String columnValue){
  55. try{
  57. HTable table =newHTable(conf,tableName);
  58. Filter filter =newSingleColumnValueFilter(columnName.getBytes(),null,CompareOp.EQUAL,columnValue.getBytes());
  59. Scan s =newScan();
  60. s.setFilter(filter);
  61. long start =System.currentTimeMillis();
  62. ResultScanner rs = table.getScanner(s);
  64. int hang =0;
  65. for(Result r : rs){
  66. /*System.out.println(new String(r.getRow()));
  67. System.out.println("column：rowkey"  
  68.                         + "====value:" + new String(r.getRow()));
  69. for (KeyValue keyValue : r.raw()) {  
  70.                System.out.println("column：" + new String(keyValue.getFamily())  
  71.                        + "====value:" + new String(keyValue.getValue()));  
  72.            }*/
  73. hang++;
  74. }
  75. long end =System.currentTimeMillis();
  76. System.out.println("rownum:"+hang);
  77. System.out.println(end-start);
  78. }catch(IOException e){
  79. // TODO Auto-generated catch block
  80. e.printStackTrace();
  81. }
  83. }
  85. publicstaticvoid main(String[] args){
  86. //HbaseAPI.QueryByrowKey("person1000", "12307999");
  87. //HbaseAPI.QueryByCondition("person1000", "username", "User2312397");
  88. HbaseAPI.QueryByCondition("person1000","sex","0");
  89. }
  90. }
特别说下conf.setLong(HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY, 1200000)表示的是每次访问最大时长，超过这个时长自动终止。
 
上文中的QueryByCondition并不准确，SingleColumnValueFilter的四个参数分别是列簇名、列名、过滤条件，过滤值。由于上文中的Hbase表每个列都是列簇，所以没有问题，现提供同时有列簇和列的查询：
  1. publicstaticvoidQueryByCondition(String tableName,String familyName,String columnName,String columnValue){
  2. try{
  4. HTable table =newHTable(conf,tableName);
  5. Filter filter =newSingleColumnValueFilter(familyName.getBytes(),columnName.getBytes(),CompareOp.EQUAL,columnValue.getBytes());
  6. Scan s =newScan();
  7. s.setCaching(1000);
  8. s.setFilter(filter);
  9. long start =System.currentTimeMillis();
  10. ResultScanner rs = table.getScanner(s);
  12. int hang =0;
  13. for(Result r : rs){
  14. System.out.println(newString(r.getRow()));
  15. System.out.println("column：rowkey"  
  16.                         +"====value:"+newString(r.getRow()));
  17. for(KeyValue keyValue : r.raw()){  
  18.                System.out.println("column："+newString(keyValue.getFamily())+":"+newString(keyValue.getQualifier())
  19.                        +"====value:"+newString(keyValue.getValue()));  
  20.            }
  21. hang++;
  22. }
  23. long end =System.currentTimeMillis();
  24. System.out.println("rownum:"+hang);
  25. System.out.println(end-start);
  26. }catch(IOException e){
  27. // TODO Auto-generated catch block
  28. e.printStackTrace();
  29. }
  31. }
代码中有一个s.setCaching()，这涉及到了Hbase 的Scanner Caching功能：
base.client.scanner.caching配置项可以设置HBase scanner一次从服务端抓取的数据条数，默认情况下一次一条。通过将其设置成一个合理的值，可以减少scan过程中next()的时间开销，代价是scanner需要通过客户端的内存来维持这些被cache的行记录。
有三个地方可以进行配置：1）在HBase的conf配置文件中进行配置；2）通过调用HTable.setScannerCaching(int scannerCaching)进行配置；3）通过调用Scan.setCaching(int caching)进行配置。三者的优先级越来越高。
 
参考文件：
 





HBASE之shell操作和Java访问

标签：

原文地址：http://www.cnblogs.com/goalishman/p/4535905.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！