阿里下一代云分析型数据库AnalyticDB入选Forrester云化数仓象限

标签：2017年   线性   过滤   分布式文件系   The   工具   高性能   协议   复杂   

前言
近期, 全球权威IT咨询机构Forrester发布"The Forrester Wave: CloudData Warehouse Q4 2018"研究报告，阿里巴巴分析型数据库(AnalyticDB)成功入选。

AnalyticDB作为阿里巴巴自主研发的PB级实时云数据仓库，全面兼容MySQL协议以及SQL:2003 语法标准，可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索，帮客户将整个数据分析和价值化从传统的离线分析带到下一代的在线实时分析模式。本文将深入解读AnalyticDB成功入选背后的核心产品以及带来的客户价值。

核心能力一：快和实时
分析型数据库AnalyticDB在瞬间即可对万亿级别的数据进行实时的多维度分析透视，快速发现数据价值。AnalyticDB对复杂SQL查询速度相比传统的关系型数据库快10倍，此外，AnalyticDB还可以快速扩容至数千节点的超大规模，进一步提升查询响应速度。三大模块合力构筑了远远领先竞争对手的性能优势：

智能SQL优化器：针对复杂的SQL查询，AnalyticDB的SQL Optimizer 实现了多种查询改写优化，同时依据统计信息选择JOIN ORDERING最优路径，并支持 CTE 归并等功能。同时针对高并发低延迟查询，提供智能的 Plan cache，将相似SQL Pattern 计划都缓存起来，规避重复优化开销。
曦和计算引擎： AnalyticDB 在2017年全面升级为新一代曦和分布式计算引擎，整体采用MPP架构，并支持DAG计算模型，节点内引入LLVM等运行时编译优化JIT技术，性能提升一倍以上。数据分析任务在曦和计算引擎内被打散成小颗粒的计算单元，引擎内置分时轮询的计算调度机制，可以保证高并发下作业任务的稳定运行。
玄武存储引擎：AnalyticDB支持行列混合存储，同时针对不同的数据类型，当数据实时写入时，智能的构建多种维度索引，包括B+索引、区间索引、倒排索引、位图索引等，并对传统索引算法进行创新，引入动态过滤、延迟物化等方式，极大的降低I/O，实现高性能的点或范围的检索，支持千亿级记录关联分析。
核心能力二：超大规模
AnalyticDB是全分布式结构，使得数据库支持ECU节点动态线性扩容至数千节点。用户可以通过横向扩容来大幅度提升查询SQL响应速度、以及换来SQL处理高并发。

AnalyticDB 基于阿里云飞天系统构筑，AnalyticDB采用分层解耦架构，同时将分析计算、数据写入、索引构建等分离为不同节点，同时各种类型节点采用多活运行模式实现高可用，数据存储在盘古分布式文件系统上，实现高可靠和高性能读写I/O，在整体架构上实现了弹性扩展和高可用。AnalyticDB架构上每一层结构，都充分的考虑了规模化扩展性问题。

核心能力三：高并发实时写入和更新
由于无论是前端接入层、写入节点支持动态大规模扩展，客户可以从最小规模的10万TPS写入能力，通过横向扩容节点提升至1000万+TPS的写入能力，实时写入后，数据秒级别可见，从写入到分析整个数据延迟控制在秒级。

单个表最大支持PB级数据，十万亿记录，传统的数据仓库通常是离线Load数据模式，不具备实时高并发写入能力。正是由于具备海量数据实时写入能力，AnalyticDB数据分析时效性非常高，是企业数据离线计算转实时化的下一代核心解决方案。

核心能力四：灵活
AnalytiDB无论是前端接入层还是弹性计算层、以及数据存储层均是全分布式设计，全局无单点。外加存储计算分离结构，带来的优势是极度灵活。云上客户不仅可以随时进行灵活调整节点数量，还可以做实例规格的动态升降配。AnalytiDB同时支持在存储型的SATA实例和高性能的SSD实例间灵活切换。

举例来说： 可以从8个高性能的c4实例升到12个高性能的c8实例，或从12个c8降到8个c4，甚至从2个高性能c8节点切换至4个大存储SATA的s2n等，企业可以真正做到灵活控制成本。

核心能力五：易用
AnalyticDB作为云端托管的PB级SQL数据仓库，高度兼容MySQL协议和SQL:2003，通过标准SQL和常用的BI工具、以及ETL工具平台即可轻松使用。同时结合阿里云数据传输服务(DTS) + 数据可视化配套(DataV & QuickBI), 轻松拖拽式即可完成企业的实时数据仓库建设。AnalyticDB旨在帮助企业降低实时数据化运营的建设门槛。

微案例：为企业解决数据化建设效率和性能难题
递四方集团（4PX）是领先的跨境电商物流服务提供商。递四方信息科技团队在建设了多年的离线数据平台后，需要短时间内建设PB级别实时数据平台支持数字化运营。递四方信息科技在调研了一系列的解决方案后，综合成本和建设效率等因素，最后选择了基于AnalyticDB来构建实时数据平台。 双方通力合作，在极短时间内通过DTS+AnalyticDB+DataV/QuickBI套件，以简单快速的拖拽配置方式完成了4PX企业实时数仓的初期基础建设。

无他相机作为一款流行的拍照智能App, 有各种用户和App数据需要上报做实时分析，以帮助运营人员做活动效果分析以及开发人员做App分析，不断优化用户体验和App质量。数据总量约100亿，需实时入库更新，客户最早期的方案是MySQL，后续换成了MongoDB，解决了实时写入问题，但是分析性能巨慢。在使用了分析型数据库的存储型实例后，将业务数据直接写入AnalyticDB，不但解决了实时高并发写入问题，复杂分析性能从40分钟+降低到秒级别，高分期QPS 1800+。

典型行业客户-他们也在使用AnalyticDB

展望未来：储备更多创新力量 + 构筑更丰富的生态
分析型数据库AnalyticDB，作为阿里巴巴下一代PB级实时数据仓库, 承载着整个集团内和云上客户的数据价值实时化分析的使命。此次报告可以看出，整个大数据企业服务迈入CDW阶段，灵活、易用、自助化服务成为主流趋势，AnalyticDB接下来将在易用性、数据通道、任务管理、可视化等周边生态建设上继续做广、做深。同时也为未来储备了一些核心力量，并取得阶段性的进展：

分析型数据库AnalyticDB首次在“双11 全球狂欢节” 采用GPU加速加速技术，在计算成本大幅降低的情况下，服务全球商家将数据分析从离线进入在线时代，支撑PB级数据从T+1计算提速到秒级实时分析。
向量分析首次支撑银泰、盒马等新零售场景的人脸识别、算法推荐、结构化数据实时融合分析，毫秒级打通线上线下会员体系，支撑实时数据化线下互动、营销。
AnalyticDB为数据价值在线化而生，作为实时云数据仓库平台，希望能将最领先的下一代实时数仓能力普惠给所有企业，帮助企业转型加速数据价值探索和在线化。

阿里下一代云分析型数据库AnalyticDB入选Forrester云化数仓象限

标签：2017年   线性   过滤   分布式文件系   The   工具   高性能   协议   复杂   

原文地址：http://blog.51cto.com/14031893/2320555