表结构要合理。适当加冗余字段。减少关联的最好方法就是适当的做冗余字段，用空间换时间，也能换来更好的可读性，但是必须做好表与表之间的数据一致性。 OLAP复杂是难免的，大规模实时分析最好还是传统数据库与大数据混合联动。通过像Kylin，Speak这些操作Hadoop来实时分析。 OLTP出现超级复杂S ...
分类：
其他好文 时间：
2018-06-16 12:06:44
阅读次数：
200
在BI服务中通过查询聚合语句分析定位慢查询/聚合分析，小结如下： + : 通过Profile分析慢查询 + ： 通过添加相应索引提升查询速度； + : 首先要说明的一个问题是，对于OLAP型的操作，期望不应该太高。毕竟是对于大量数据的操作，光从IO就已经远超通常的OLTP操作，所以要求达到OLTP操 ...
分类：
数据库 时间：
2018-06-15 10:59:40
阅读次数：
250
经常有用户会问这个问题，你家的产品能处理多大数据量？似乎是这个值越大产品就越牛。这个问题，其实没多大意义。能处理多大的数据量，还有个很关键的因素是期望的响应时间，在脱离这个因素单纯谈大数据产品的数据处理量，就不知道怎么回答了。考虑只有单台机器的简单情况。如果是希望秒级响应的OLAP式汇总，那么GB级都是挺大的数据了，几乎不可能有什么产品能处理TB级数据（除非有巨大内存）。而如果是数小时内完成的ET
分类：
其他好文 时间：
2018-06-12 11:22:12
阅读次数：
134
cdh5.14.2中集成安装kylin与使用测试标签（空格分隔）：大数据平台构建一：kylin简介二：安装配置kylin三：kylin运行实例一：kylin简介ApacheKylin?是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBayInc.开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。kylin软件下
分类：
其他好文 时间：
2018-06-11 23:41:21
阅读次数：
994
OLAP(on-Line Analysis Processing)是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求,它的技术核心是"维"这个概念。 “维”(di ...
分类：
其他好文 时间：
2018-06-10 15:16:28
阅读次数：
182
在此大概用口水话简单叙述一下他们几个概念： （1）DB/Database/数据库——这里一般指的就是OLTP数据库，在线事物数据库，用来支持生产的，比如超市的买卖系统。DB保留的是数据信息的最新状态，只有一个状态！比如，每天早上起床洗脸照镜子，看到的就是当时的状态，至于之前的每天的状态，不会出现的你 ...
分类：
数据库 时间：
2018-06-08 00:47:49
阅读次数：
187
Apache Kylin的官网 - 可扩展超快OLAP引擎: Kylin是为减少在Hadoop上百亿规模数据查询延迟而设计 - Hadoop ANSI SQL 接口: Kylin为Hadoop提供标准SQL支持大部分查询功能 - 交互式查询能力: 通过Kylin，用户可以与Hadoop数据进行亚秒级 ...
分类：
Web程序 时间：
2018-05-31 13:45:51
阅读次数：
229
Hadoop部分大纲 （一）、Hadoop的起源和背景知识 1、什么是大数据？两个例子、大数据的核心问题是什么？ 2、概念：数据仓库（Data warehouse） 3、概念：OLTP和OLAP 4、（最重要的内容）Google的三篇论文 （1）、GFS:Google File System > H ...
分类：
其他好文 时间：
2018-05-29 21:43:46
阅读次数：
204
当今的数据处理大致可以分成两大类：联机事务处理OLTP（On-Line Transaction Processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数 ...
分类：
其他好文 时间：
2018-05-27 13:52:29
阅读次数：
188
1.定义OLAP即联机分析处理定义1：OLAP是针对特定问题的联机数据访问和分析处理。通过对信息（这些信息从原始数据转换而来，以反映用户所能理解的企业真实的“维”）的多种可能形式进行快速、稳定、一致的交互式存取，允许决策制定者对数据进行深入的观察。定义2：OLAP是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。这些信息是从原始数据直接转换过来的，它们
分类：
其他好文 时间：
2018-05-24 20:37:15
阅读次数：
157
