五、Hue、Zeppelin比较 上一节简单介绍了Hue这种Hadoop生态圈的数据可视化组件，本节讨论另一种类似的产品——Zeppelin。首先介绍一下Zeppelin，然后说明其安装...
分类：
其他好文 时间：
2016-08-31 12:07:48
阅读次数：
196
四、数据可视化与Hue简介1. 数据可视化简介 数据可视化在维基百科上是这样定义的：指一种表示数据或信息的技术，它将数据或信息编码为包含在图形里的可见对象（如点、线、条等），目的是将信息...
分类：
其他好文 时间：
2016-08-29 15:41:00
阅读次数：
235
三、Impala OLAP实例 本节使用前面销售订单的例子说明如何使用Impala做OLAP类型的查询，以及实际遇到的问题及解决方案。为了处理SCD和行级更新，我们前面的ETL使用了Hi...
分类：
其他好文 时间：
2016-08-26 09:12:56
阅读次数：
263
二、Hive、Spark SQL、Impala比较 Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。前面已经讨论了...
分类：
其他好文 时间：
2016-08-25 21:42:57
阅读次数：
166
十七、分段维度 本节说明分段维度的实现技术。分段维度包含连续值的分段。例如，年度销售订单分段维度可能包含有叫做“低”、“中”、“高”的三档；各档定义分别为0.01到15000、15000.01到30000.00、30000.01到99999999.99。如果一个客户的年度销售订单金额为10000，则被归为“低”档。 分段维度可以存储多个分段集合。例如，可能有一个用于促销...
分类：
其他好文 时间：
2016-08-11 18:00:09
阅读次数：
151
五、快照 前面实验说明了处理维度的扩展。本节讨论两种事实表的扩展技术。 有些用户，尤其是管理者，经常要看某个特定时间点的数据。也就是说，他们需要数据的快照。周期快照和累积快照是两种常用的事实表扩展技术。 周期快照是在一个给定的时间对事实表进行一段时期的总计。例如，一个月销售订单周期快照汇总每个月底时总的销售订单金额。 累积快照用于跟踪事实表的...
分类：
其他好文 时间：
2016-07-22 19:18:25
阅读次数：
160
三、维度子集 有些需求不需要最细节的数据。例如更想要某个月而不是某天的记录。再比如相对于全部的销售数据，可能对某些特定状态的数据更感兴趣等。这些特定维度包含在从细节维度选择的行中，所以叫维度子集。维度子集比细节维度的数据少，因此更易使用，查询也更快。 本节中将准备两个特定维度，它们均取自现有的维度：月份维度（日期维度的子集），Pennsylvania州客户维度（客户维度...
分类：
其他好文 时间：
2016-07-19 10:04:48
阅读次数：
162
四、角色扮演维度 当一个事实表多次引用一个维度表时会用到角色扮演维度。例如，一个销售订单有一个是订单日期，还有一个交货日期，这时就需要引用日期维度表两次。 本节将说明两类角色扮演维度的实现，分别是表别名和数据库视图。这两种都使用了Hive的功能。表别名是在SQL语句里引用维度表多次，每次引用都赋予维度表一个别名。而数据库视图，则是按照事实表需要引用维度表的次数，建立相同...
分类：
其他好文 时间：
2016-07-19 10:04:32
阅读次数：
180
一、增加列 数据仓库最常碰到的扩展是给一个已经存在的维度表和事实表添加列。本节说明如何在客户维度表和销售订单事实表上添加列，并在新列上应用SCD2，以及对定时装载脚本所做的修改。假设需要在客户维度中增加送货地址属性，并在销售订单事实表中增加数量度量值。 先看一下增加列时模式发生的变化。 修改后源数据库模式如下图所示。 修改后DW数据库模式如...
分类：
其他好文 时间：
2016-07-14 15:44:46
阅读次数：
231
1.概述 最近收到一些同学和朋友的邮件，说能不能整理一下 Hadoop 生态圈的相关内容，然后分享一些，我觉得这是一个不错的提议，于是，花了一些业余时间整理了 Hadoop 的生态系统，并将其进行了归纳总结，进而将其以表格的形式进行了罗列。涉及的内容有以下几点： 分布式文件系统 分布式编程模型 No ...
分类：
其他好文 时间：
2016-07-13 19:36:56
阅读次数：
155
