码迷,mamicode.com
首页 > 数据库 > 详细

hbase查询基于标准sql规范中间件Phoenix

时间:2015-12-07 20:29:16      阅读:1630      评论:0      收藏:0      [点我收藏+]

标签:

  

   Phoenix是个很好的hbase 查询工具,在hbase中安装也很简单,可以按照 http://www.cnblogs.com/laov/p/4137136.html 这个连接中进行配置客户端和服务端的Phoenix。

PhoenixSQL有如下类:

  • 增删数据:ExecutableAddColumnStatement、ExecutableDropColumnStatement
  • 创建/删除表格:ExecutableCreateTableStatement、ExecutableDropTableStatement
  • Select操作:ExecutableSelectStatement
  • 导入数据:ExecutableUpsertStatement
  • 解释执行:ExecutableExplainStatement

      Phoenix架构和特点:

   Phoenix中SQL Query Plan的执行,基本上是通过构建一系列的Hbase scan来完成。为了尽可能减少数据传输,在Region Server使用Coprocessor来尽可能的执行Aggregate相关工作,基本思想是使用RegionObserver在PostScannerOpen hook中将RegionScanner替换成支持Aggregation工作的定制化的Scanner,具体的Aggregate操作通过custom的scan属性传递给RegionScanner。与基于MapReduce的框架执行Plan的思想比较,基本上就是通过Coprocessor,使用RegionServer自身来在各个节点上执行Aggregation。此外,通过各种定制的Filter在Hbase的RegionScanner scan过程中,尽早的将不相关的数据过滤掉。采用JDBC接口和应用程序交互。

       目前支持简单的表的创建,修改,数据删减,过滤,检索等SQL语法,从语法上看,不支持多表操作,本质上应该是由于不支持多表联合类的操作如各种Join等,所以在Where部分也就不能做多表的比较。由于Coprocessor 和 Filter自身能力的限制,如果完全不依赖Map Reduce框架,只通过HbaseClient API想要实现复杂的Query操作如多表联合操作,相对比较困难,或者大量工作需要在客户端代码中实现,性能上可能无法满足需求。

  执行查询时,在数据访问与运行时执行之间加上SQL这样一层抽象可以进行大量优化。比如说,对于GROUP BY查询来说,我们可以利用HBase中协同处理器这样的特性。借助于该特性,我们可以在HBase服务器上执行Phoenix代码。因此,聚合可以在服务端执行,而不必在客户端,这么做会极大减少客户端与服务端之间传输的数据量。此外,Phoenix还会在客户端并行执行GROUP BY,这是根据行键的范围来截断扫描而实现的。通过并行执行,结果会更快地返回。所有这些优化都无需用户参与,用户只需发出查询即可。

优点:

1:命令行和java客户端使用都很简单。尤其是java客户端直接面向JDBC接口编程,封装且优化了Hbase很多细节。 
2:在单表操作上性能比Hive Handler好很多(但是handler也有可能会升级加入斜处理器相关聚合等特性) 
3:支持多列的二级索引,列数不限。其中可变索引时列数越多写入速度越慢,不可变索引不影响写入速度(参考:  https://github.com/forcedotcom/phoenix/wiki/Secondary-Indexing#mutable-indexing)。 
4:对Top-N查询速度远超Hive(参考:  https://github.com/forcedotcom/phoenix/wiki/Performance#top-n) 
5:提供对rowkey分桶的特性,可以实现数据在各个region的均匀分布(参考:  https://github.com/forcedotcom/phoenix/wiki/Performance#salting) 
6:低侵入性,基本对原Hbase的使用没什么影响 
7:提供的函数基本都能cover住绝大多数需求了 
8:与Hive不同的是,Phoenix的sql语句更接近标准sql规范。

  Phoenix的基本查询语法:

select * from shuju;

select count(1) from shuju;

select cmtid,count(1) as num from shuju group by cmtid order by num desc;

select avg(TO_NUMBER(avgt)) from shuju;

select cmtid,count(1) as num,avg(TO_NUMBER(avgt)) as avgt,avg(TO_NUMBER(loss)) as loss from shuju group by cmtid order by num desc;

select acm,dtype,cmtid,count(1) as num,avg(TO_NUMBER(avgt)) as avgt,avg(TO_NUMBER(loss)) as loss

from shuju

group by acm,dtype,cmtid

order by num desc;

select acm,dtype,porgcode,orgid,cmtid,count(1) as num,avg(TO_NUMBER(avgt)) as avgt,avg(TO_NUMBER(loss)) as loss

from shuju

group by acm,dtype,porgcode,orgid,cmtid

order by num desc;

where TO_DATE(ttime,‘yyyyMMddHHmmss‘)=TO_DATE(‘20141125‘,‘yyyyMMdd‘)

select ttime from shuju order by ttime desc;

 

where TO_DATE(ttime,‘yyyyMMddHHmmss‘)=TO_DATE(‘20141125‘,‘yyyyMMdd‘)

 

select TO_DATE(ttime,‘yyyyMMddHHmmss‘) from shuju;

select TO_DATE(‘20141125‘,‘yyyyMMdd‘) from shuju;

select (TO_DATE(ttime,‘yyyyMMddHHmmss‘)=TO_DATE(‘20141125‘,‘yyyyMMdd‘)) as aaa from shuju order by aaa asc;

   java调用Phoenix的驱动例子:(Phoenix基本几乎标准sql规范)

  

import java.sql.*;

public class PhoenixJDBC {

 public static void main(String args[]) {

 try {
     //Register JDBC Driver
     Class.forName("org.apache.phoenix.jdbc.PhoenixDriver").newInstance();

     Connection conn = DriverManager.getConnection("jdbc:phoenix:54.152.31.122","","");

     //Create a Statement class to execute the SQL statement
     Statement stmt = conn.createStatement();

     //Execute the SQL statement and get the results in a Resultset
     ResultSet rs = stmt.executeQuery("select * from US_POPULATION");

     // Iterate through the ResultSet, displaying two values
     // for each row using the getString method

     while (rs.next())
         System.out.println("Name= " + rs.getString("host"));
 }
 catch (SQLException e) {
     e.printStackTrace();
 }
 catch (Exception e) {
     e.printStackTrace();
 }
 }
 }

 

 

 

 

 

 


  

 

hbase查询基于标准sql规范中间件Phoenix

标签:

原文地址:http://www.cnblogs.com/rxingyue/p/5026743.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!