码迷,mamicode.com
首页 > 数据库 > 详细

Trafodion:Transactional SQL on HBase

时间:2014-10-24 16:41:48      阅读:440      评论:0      收藏:0      [点我收藏+]

标签:大数据   hbase   sql   hadoop   bigdata   

Trafodion: Transactional SQL on HBase
 

HBase上实时分布式事务处理

 
 
介绍
 

        HBase的SQL能力一直不足。Phoenix缺乏Join能力,eBay提出的kylin还不够简洁,facebook Presto的HBase连接器还没公开。那么,Trafodion来了。它在HBase上提供了标准SQL功能,并支持事务OLTP。Trafodion是HP的开源举措,培养在惠普实验室和HP-IT开发一个企业级的SQL上的HBase解决方案。惠普拥有超过20年的积累,针对大数据的事务或业务工作负载,已经开发事务的SQL技术进入数据库technologyand解决方案。 Trafodion给Hadoop的生态系统带来了这一核心技术。要了解更多关于起源和项目的名称请访问:

www.hp.com/go/trafodion

 
目标工作负载
 
        Hadoop的工作负载,从长期运行的批处理模式,到跨越如下图所示的低延时工作负载在右侧被视为非常适合的Hadoop的三分析工作,因此获取了最多的关注。与此相反定义为“运营最左边的工作是一类新工作负载,它包括OLTP工作负载,以及交易

包括使用社交和移动数据的交互和意见结构化和半结构化数据的混合物。

bubuko.com,布布扣

 
 
 
        传统上,这些工作负载已经通过关系处理数据库。但是关系数据库具有可扩展性的问题,提供在某些情况下需要的架构灵活性。Hadoop的定位突破了
这些限制。市场有越来越多的兴趣压力结合Hadoop的好处以显著降低成本,以拥抱这些工作负载Hadoop的生态系统。

 
        随着业务的工作负载代表的业务需求它们通常由交易不断流动,需要低延迟响应时间对于读/写访问此外,这些工作负载的特点是
 
?ACID兼容保护数据的完整性
?高可用性并发性和可扩展性
?多结构化数据
?快速变化的数据需求

 
特性
 
        目前,还没有现成的开源SQL的HBase的解决方案可以充分地满足这些要求Trafodion提供以下功能以支持Hadoop的事务性工作:
 
?在多个SQL语句表和行上ACID兼容的分布式事务保护
?丰富的全功能的ANSI SQL语言支持使用ODBC/ JDBC连接接口
?通过利用编译时和运行时优化以提高性能
?Trafodion打算使用并行感知的大型数据集查询优化器以提供Hadoop的的全部功能生态系统
?通过HBase的家族提供的架构灵活性结构
?Hadoop的版本支持快照功能
?高可用性和灾难恢复支持,复制和快照功能

 
优点
 
        Trafodion提供了一个全功能的HBase解决方案优化事务的SQL上的数据库管理系统事务性的数据保护这些功能有助于克服了Hadoop在支持方面事务性工作弱点
 bubuko.com,布布扣
 
使用Trafodion, 客户能获得如下好处:

?能够利用SQL专长 &复杂的MapReduce编程现有的事务性应用程序

?无缝支持已经存在的应用程序

?能开发下一代高可扩展性实时性事务处理应用

?减少数据延迟降低分析工作负载

         也能获得Hadoop生态系统内在以下好处

?降低基础设施成本
?大规模的可扩展性弹性颗粒

?提高数据可用性和灾难恢复保护


架构


Trafodion软件架构由三个不同的层次:客户端SQL数据库服务并且所述存储引擎,如下图所示
bubuko.com,布布扣

第一层是客户服务应用程序通过标准的ODBC/JDBC访问Trafodion数据库

第二Trafodion提供一个关于HBase的顶部模式关系SQL抽象封装了所有需要管理Trafodion数据库对象服务这些服务包括连接管理事务管理优化计划生成和执行Trafodion产生并联一个成熟的查询优化器查询计划,而无需复杂的MapReduce编程

第三存储引擎标准的hadoop服务,包括HBase的HDFS动物园管理员Trafodion数据库对象存储在本地的HadoopHBase的/HDFS数据库构。 Trafodion处理SQL语句的请求映射本地HBase的透明代表应用程序调用


创新的关键


        Trafodion分布式事务管理DTM)的组成部分提供了从事务的多个SQL语句多个表多个行的单一的多重保护此外TrafodionDTM通过多个HBase区域配置利用传统的两阶段提交协议, 对横跨集群的分布式集群提供了保护DTM提供了支持隐式自动提交),并明确BEGINCOMMITROLLBACK WORK事务控制
Trafodion不同的事务性工作供了许多编译时和运行时优化对于OLTP交易的单个访问到运营报告高度复杂SQL语句


示例用例OpenCart应用


       OpenCartwhich一个免费的开源电子商务平台已被修改为执行Trafodion的SQL语句而不是默认的数据库MySQL的)接口
这是一个很好的程序,以典型的OLTP工作负载特性

bubuko.com,布布扣

        前两张图显示的是惠普的购物车OpenCart的变化,最后两个图说明了工作量和查询 - 等级分析使用Trafodion查询工作台


产品说明


        惠普已经作为一个开源项目推出了Trafodion,并发布在Apache许可证2.0版下。Trafodion现在可以帮助您评估Trafodion能力,并开始证明
概念和原型效果。Trafodion文件下载包中包含安装程序和可执行代码,可在www.trafodion.org



Trafodion:Transactional SQL on HBase

标签:大数据   hbase   sql   hadoop   bigdata   

原文地址:http://blog.csdn.net/china_world/article/details/40426183

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!