基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（二）

标签：

• 集成——将SQL查询与Spark程序无缝集成。Spark SQL可以将结构化数据作为Spark的RDD（Resilient Distributed Datasets，弹性分布式数据集）进行查询，并整合了Scala、Java、Python、R等语言的API。这种集成可以使开发者只需运行SQL查询就能完成复杂的分析算法。
• 统一数据访问——通过Schema-RDDs为高效处理结构化数据而提供的单一接口，Spark SQL可以从Hive表、parquet或JSON文件等多种数据源查询数据，也可以向这些数据源装载数据。
• 与Hive兼容——已有数据仓库上的Hive查询无需修改即可运行。Spark SQL复用Hive前端和元数据存储，与已存的Hive数据、查询和UDFs完全兼容。
• 标准的连接层——使用JDBC或ODBC连接。Spark SQL提供标准的JDBC、ODBC连接方式。
• 可扩展性——交互式查询与批处理查询使用相同的执行引擎。Spark SQL利用RDD模型提供容错和扩展性。

• Language API——Spark SQL与多种语言兼容，并提供这些语言的API。
• Schema RDD——Schema RDD是存放列Row对象的RDD，每个Row对象代表一行记录。Schema RDD还包含记录的结构信息（即数据字段），它可以利用结构信息高效地存储数据。Schema RDD支持SQL查询操作。
• Data Sources——一般Spark的数据源是文本文件或Avro文件，而Spark SQL的数据源却有所不同。其数据源可能是Parquet文件、JSON文档、Hive表或Cassandra数据库。

• 是简化数据抽取、转换、装载的工具
• 提供一种机制，给不同格式的数据加上结构
• 可以直接访问HDFS上存储的文件，也可以访问HBase的数据
• 通过MapReduce执行查询
• Hive定义了一种叫做HiveQL的简单的类SQL查询语言，用户只要熟悉SQL，就可以使用它查询数据。同时，HiveQL语言也允许熟悉MapReduce计算框架的程序员添加定制的mapper和reducer插件，执行该语言内建功能不支持的复杂分析。
• 用户可以定义自己的标量函数（UDF）、聚合函数（UDAF）和表函数（UDTF）
• 支持索引压缩和位图索引
• 支持文本、RCFile、HBase、ORC等多种文件格式或存储类型
• 使用RDBMS存储元数据，大大减少了查询执行时语义检查所需的时间
• 支持DEFLATE、BWT或snappy等算法操作Hadoop生态系统内存储的数据
• 大量内建的日期、数字、字符串、聚合、分析函数，并且支持UDF扩展内建函数。
• HiveQL隐式转换成MapReduce或Spark作业

• 支持Parquet、Avro、Text、JSON、ORC等多种文件格式
• 支持存储在HDFS、HBase、Amazon S3上的数据操作
• 支持snappy、lzo、gzip等典型的Hadoop压缩编码方式
• 通过使用“shared secret”提供安全认证
• 支持Akka和HTTP协议的SSL加密
• 保存事件日志
• 支持UDF
• 支持并发查询和作业的内存分配管理（可以指定RDD只存内存中、或只存磁盘上、或内存和磁盘都存）
• 支持把数据缓存在内存中
• 支持嵌套结构

• 支持Parquet、Avro、Text、RCFile、SequenceFile等多种文件格式
• 支持存储在HDFS、HBase、Amazon S3上的数据操作
• 支持多种压缩编码方式：Snappy（有效平衡压缩率和解压缩速度）、Gzip（最高压缩率的归档数据压缩）、Deflate（不支持文本文件）、Bzip2、LZO（只支持文本文件）
• 支持UDF和UDAF
• 自动以最有效的顺序进行表连接
• 允许定义查询的优先级排队策略
• 支持多用户并发查询
• 支持数据缓存
• 提供计算统计信息（COMPUTE STATS）
• 提供窗口函数（聚合 OVER PARTITION, RANK, LEAD, LAG, NTILE等等）以支持高级分析功能
• 支持使用磁盘进行连接和聚合，当操作使用的内存溢出时转为磁盘操作
• 允许在where子句中使用子查询
• 允许增量统计——只在新数据或改变的数据上执行统计计算
• 支持maps、structs、arrays上的复杂嵌套查询
• 可以使用impala插入或更新HBase

• 周期性转换大量数据，例如：每天晚上导入OLTP数据并转换为星型模式；每小时批量转换数据等。
• 整合遗留的数据格式，例如：将CSV数据转换为Avro；将一个用户自定义的内部格式转换为Parquet等。

• 商业智能，例如：与Tableau结合进行数据探查；与Micro Strategy一个出报表等。
• 交互式查询，例如：OLAP查询。

• 从Hive数据仓库中抽取部分数据，使用Spark进行分析。

• 商业智能和交互式查询。

• 秒级的响应时间
• OLAP
• 交互式查询

• ETL
• UDAF

• 对于单用户查询，Impala比其它方案最多快13倍，平均快6.7倍。
• 对于多用户查询，差距进一步拉大：Impala比其它方案最多快27.4倍，平均快18倍。

• 双物理CPU，每个12核，Intel Xeon CPU E5-2630L 0 at 2.00GHz
• 12个磁盘驱动器，每个磁盘932G，1个用作OS，其它用作HDFS
• 每节点64G内存

• Impala 1.4.0
• Hive-on-Tez 0.13
• Spark SQL 1.1
• Presto 0.74

• 21个节点上的数据量为15T
• 测试场景取自TPC-DS，一个开放的决策支持基准（包括交互式、报表、分析式查询）
• 由于除Impala外，其它引擎都没有基于成本的优化器，本测试使用的查询都使用SQL-92标准的连接
• 采用统一的Snappy压缩编码方式，各个引擎使用各自最优的文件格式，Impala和Spark SQL使用Parquet，Hive-on-Tez使用ORC，Presto使用RCFile。
• 对每种引擎多次运行和调优

• Dell M1000e server rack
• 10 Dell M610 blades
• Juniper EX4500 10 GbE switch

• Intel Xeon X5667 3.07GHz processor
• Dell PERC H700 Integrated RAID controller
• Disk size: 543 GB
• FreeBSD iSCSI Initiator driver
• HP P2000 G3 iSCSI dual controller
• Memory: 94.4 GB

• Linux 2.6.32
• Apache Hadoop 2.0.0
• Apache Hive 0.10.0
• Impala 1.0
• Apache MapReduce 0.20.2

-- What are the most visited top-level directories on the customer support website for a given week and year?
select top_directory, count(*) as unique_visits   
  from (select distinct visitor_id, split(requested_file, ‘[\\/]‘)[1] as top_directory
          from page_click_flat
         where domain_nm = ‘support.sas.com‘ 
		   and flash_enabled=‘1‘ 
           and weekofyear(detail_tm) = 48 
           and year(detail_tm) = 2012
       ) directory_summary
 group by top_directory
 order by unique_visits;

-- What are the most visited pages that are referred from a Google search for a given month?
select domain_nm, requested_file, count(*) as unique_visitors, month
  from (select distinct domain_nm, requested_file, visitor_id, month(detail_tm) as month
          from page_click_flat
         where domain_nm = ‘support.sas.com‘ 
           and referrer_domain_nm = ‘www.google.com‘
       ) visits_pp_ph_summary
 group by domain_nm, requested_file, month
 order by domain_nm, requested_file, unique_visitors desc, month asc;

-- What are the most common search terms used on the customer support website for a given year?
select query_string_txt, count(*) as count
  from page_click_flat
 where query_string_txt <> ‘‘ 
   and domain_nm=‘support.sas.com‘ 
   and year(detail_tm) = ‘2012‘
 group by query_string_txt
 order by count desc;

-- What is the total number of visitors per page using the Safari browser?
select domain_nm, requested_file, count(*) as unique_visitors
  from (select distinct domain_nm, requested_file, visitor_id
          from page_click_flat
         where domain_nm=‘support.sas.com‘ 
           and browser_nm like ‘%Safari%‘ 
           and weekofyear(detail_tm) = 48 
           and year(detail_tm) = 2012
       ) uv_summary
 group by domain_nm, requested_file
 order by unique_visitors desc;

-- How many visitors spend more than 10 seconds viewing each page for a given week and year?
select domain_nm, requested_file, count(*) as unique_visits
  from (select distinct domain_nm, requested_file, visitor_id
          from page_click_flat
         where domain_nm=‘support.sas.com‘ 
           and weekofyear(detail_tm) = 48 
           and year(detail_tm) = 2012 
           and seconds_spent_on_page_cnt > 10;
       ) visits_summary
 group by domain_nm, requested_file
 order by unique_visits desc;

基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（二）

标签：

原文地址：http://blog.csdn.net/wzy0623/article/details/52249187