码迷,mamicode.com
首页 > 移动开发 > 详细

vertica在电信的应用

时间:2016-11-05 11:43:54      阅读:570      评论:0      收藏:0      [点我收藏+]

标签:读取   无法   导入   imp   列存储   包括   经验   案例   自动   

本文介绍了什么

 电信级大数据分析典型需求

 Vertica数据库特点及与其他数据库对比

 Vertica核心技术介绍

 基于Vertica的典型分系统架构简介

 

电信级大数据分析典型需求

 海量数据存储:年分析数据量达到PB

  • Counter数据:各网元收集的统计数据,可用于监控和测量网络性能

  • MR详单:即手机向网络上报的无线性能测量报告,反映了用户实时无线环境真实情况

  • CDR数据:呼叫详单记录,由各个接口中与该事件相关的信令综合而成,是对用户在移动网络中的通话、短信、数据业务的事件记录

  • IUPS数据:对Iu-PS接口上采集的PS域信令面和用户面数据解析而成的话单数据

  • Gn数据:对Gn口原始码流解析得到的数据,主要反映用户使用各类数据业务的详细情况

  • 工参、投诉、设备告警、路测等其他数据

 高速数据汇总及分析:保证按天、按月滚动的分析模块能够及时完成

 少量的实时查询需求:从海量详单数据中迅速定位单个用户,例如用户轨迹查询

 结论:需要一种兼具数据仓库功能、数据分析功能的数据库;对信息检索速度要达到秒级;对超大数据集的汇总、关联操作要下降到分钟级(传统数据库如Oracle往往需要数小时)

 

Vertica特性

 大规模并行处理(MPP):基于廉价的X86服务器集群,获得高性能的分析处理能力。

 列式存储:为大多数分析型数据库所采用,区别于传统的交易型数据库(如Oracle),适用于按列高速查询,性能提升在50-1000倍。

 标准化的接口:基于SQL语句和传统的JDBC和ODBC等程序接口,利于现有数据分析系统移植。

 灵活的部署方式:既可部署于传统的本地硬盘存储,也可部署在HDFS存储系统上,方便与Hadoop系统集成。

 查询优化器:根据用户查询特性优化存储结构和查询算法,进一步提升查询性能(关联、分组等查询性能可再提高5-10倍)。

 丰富的管理和监控工具:为不同用户(数据分析、实时查询、数据导入等)分配各自系统资源(CPU、内存等),拥有图形化的网页监控界面。

 

Vertica与传统交易型数据库对比

传统数据库以交易型数据库为主,比如Oracle、MySQL,这些数据库的物理存储格式都是行存储,适合数据频繁的增删改操作(如股票交易系统),但对于统计分析类的查询,行存储其实效率很低。而以Vertica为代表的分析型数据库,采用了MPP列式存储方式,注重字段统计、汇总等分析操作,而弱化了记录的插入、删除操作。

下面对比两类数据库在执行分析任务时的差异。

技术分享

 

Vertica与NoSQL数据库对比

随着“大数据”的兴起,互联网企业纷纷推出了所谓NoSQL的新型数据库。这类数据库最大的特点是不再使用SQL语句进行数据查询,而采用Map/Reduce等技术处理数据,适合处理互联网产生的海量 非结构化数据(不再以“表”来组织数据)。与之相比,Vertica数据库更倾向于使用传统的SQL语言,处理结构化的数据,最近几个版本的Vertica也引入了Hadoop接口,使之具备了一定的非结构化数据处理能力。

下面对比Vertica与Hbase,一种典型的NoSQL数据库。

技术分享

 

Vertica与Impala对比

Impala是一款SQL on Hadoop开源数据库,最显著的特点是其结合了HDFS分布式存储系统和SQL查询语句,此外它采用“列式存储”的设计,这使其成为了一款高速的分析型数据库。尽管如此,Vertica与之相比,依然具有查询效率更高、运行更稳定、资源管理更方便等优势。

技术分享

 

Vertica、Impala测试对比

针对日常分析常用的三类SQL查询:记录统计、关联、分组汇总,我们使用相同硬件和数据源做了如下测试,可以看出Vertica具有明显速度优势。

测试环境

5台HP-C7000刀片服务器组成的Vertica集群

1台主节点 + 5台从节点,HP-C7000刀片服务器组成的Impala集群

技术分享

 

Vertica核心技术——大规模并行计算(MPP)

技术分享

 Vertica采用无资源共享的大规模并行处理架构,节点间通过TCP/IP网络进行通信,每个节点采用本地磁盘来存储数据。

 Vertica根据数据表内容自动的在集群之间划分数据,查询规划器决定如何应对查询语句,并将相应的工作派发到不同的合作结点上,然后再收集每个结点的部分结果,最后将部分结果整理成最后的查询结果,返回给查询用户。

 与Hadoop等集群采用的主-从节点规划不同,Vertica所有节点完全对等,数据加载可以并发在所有节点同时执行,数据的查询也可以在任意节点发起。

 Vertica支持在线集群扩展,并在完成节点添加/删除后重新分配数据。

 

Vertica核心技术——Projection与列式存储

技术分享

对于典型的分析查询而言,往往不需要读取整张表的没一行数据,而只需要获取所有列数据的一个子集。列式存储正是基于这一原则,在执行分析查询时跳过无关的列,从而节省了大量的I/O资源消耗。

在Vertica中,“表”仅仅表示逻辑上的二维数据结构,真正存储的数据结构是将表拆分得到的列的组合,称为Projection

Projection存储的不仅仅是数据。为了优化查询性能,Vertica系统针对每列数据的特点,会采用不同的编码和压缩算法、不同的排序方式及系统冗余设置等规则组织projection,再分散存储到数据库集群的各个节点上。

这些Projection的建立规则可以通过查询优化器(下面会介绍)自动生成,也可以由有经验的数据库管理员手动设置。通过这一系列的压缩及优化存储,可以进一步降低系统I/O消耗,提高查询效率。

 

Vertica核心技术——K-Safety容错机制

技术分享

Vertica通过维护数据的多个冗余备份来实现高可用性。Vertica保证冗余数据被散列存储在不同的结点上,Vertica将其称之为K级系数安全性(K-safety),K指的是Vertica能够容忍的可能发生故障数据结点的个数。系统会按K的取值在各节点上设置数据备份。

上图是一个典型的5节点集群,设置K=1,其中节点1存储有节点2的备份projection,节点2存储有节点3的备份projection,以此类推。在此设置下,任一节点宕机都不会影响数据库的正常运转。

通过合理的集群配置,可以在同时宕机数超过K值的情况下依然正常运转,理论上最大宕机节点数可以达到集群节点总数的一半。例如上图中,当节点2已经宕机,此时若节点4或5再发生宕机,依然不会发生数据丢失;但此时若节点1或3发生故障,数据丢失将不可避免。

 

Vertica核心技术——查询优化器

技术分享

 

查询优化器通过分析数据库的负载与常用数据分析的计算特性,调整库内数据的存储、压缩、分布方式,从而根据用户需求优化数据库的数据装载或查询性能。

优化流程

  1. 首先根据数据平台常用查询,结合日常数据库监控数据,分析优化需求。

  2. 将优化需求(如样例查询及优化参数)提供给优化器,生成数据库优化脚本。

  3. 检查、部署优化脚本,测试优化效果。

优化关键点:

 存储速度优先VS查询速度优先

 Projection建立数量和建立方式

 优化流程是一个循环、往复、不断提升的过程

 

Vertica在分析系统中的定位

 Vertica数据库并不是用来取代传统的数据库(Oracle、MySQL等)或各类基于Hadoop的数据库系统的,而更多地是互补与整合的关系。

 在一个完善的分析系统中,传统的数据库往往是那些规范化的数据来源,比如电信运营商的用户帐单、工参信息等,又或者是互联网行业的用户资料、交易信息等。

 Hadoop系统则是那些非结构化的数据来源,如电信运营商各网元、接口采集的数据,又或者是互联网的各类XML、JSON文件。此外,Hadoop的Map/Reduce机制还非常适于各类海量数据的规整和缩减。

 在此基础上,Vertica分析型数据库利用其快速、灵活、易用的特性,完成各类数据的关联、汇总等分析工作。

 在顶层采用SAS、R等拥有成熟的回归、聚合模型工具做深度数据挖掘和数据可视化。

 

Vertica应用案例1:某电信运营商数据分析系统

技术分享

电信运营商大数据分析的典型应用包括:

  • 终端用户行为分析

  • 详单分析

  • 网络优化/性能分析

  • 信令分析

  • 用户粘性和ARPU分析

……

 

Vertica应用案例2:Twitter用户分析系统

技术分享

Twitter大数据分析典型应用:

  • 客户行为分析

  • 交易分析

  • 社交关系分析

  • 个人需求识别和信息推送

……

 

What is More

 一个优秀的数据分析平台起始于高质量的数据归整与数据引入。

 将Vertica与SAS、IBM SPSS Modeler等分析工具对接,利用这些工具搭建模型,实现更加灵活、深入的数据分析。

 利用Vertica提供的C++、Java和R语言接口,编写用户自定义扩展程序(User-DefinedExtensions, Udx),可以满足那些使用SQL无法实现或对性能要求更高的分析需求。

 数据平台的搭建,仅仅是大数据分析的第一步,如何从这海量数据中发掘出真正的金矿,有赖我们打破固有思路,积极学习和探索,共同迎接这个大数据的时代!

vertica在电信的应用

标签:读取   无法   导入   imp   列存储   包括   经验   案例   自动   

原文地址:http://www.cnblogs.com/zourui4271/p/6032482.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!