一、数据仓库的设计基本思想 1. 数据仓库的特点:①面向主题②随时间变化而变化③数据集成④信息相对稳定 2. 数据仓库的技术要求:①数据模型设计②ETL设计③存储管理④报表设计 3. 常见设局仓库体系的架构 ①相关数据仓库的概念 元数据,商业智能,数据挖掘,联机处理分析(OLAP),维度,度量,聚合 ...
分类:
其他好文 时间:
2020-04-11 12:43:58
阅读次数:
67
不止我有这种感觉:https://blog.nfz.moe/archives/coolapk in my mind.html 为什么那么多人退酷安:https://www.zhihu.com/question/286300925/answer/1006997826 3年前还是很和气的 自18年,许多 ...
分类:
其他好文 时间:
2020-04-01 10:28:41
阅读次数:
96
用于数据分析的 OLAP 系统的主要特点就是数据量非常大,并发访问不多,但每次访问所需要检索的数据量都比较多,而且数据访问相对较为集中,没有什么比较明显的活跃数据概念。 OLAP 即联机分析处理,是数据仓库的核心部心,所谓数据仓库是对于大量已经由 OLTP 形成的数据的一种分析型的数据库,用于处理商 ...
分类:
其他好文 时间:
2020-03-28 19:52:06
阅读次数:
71
在常见的互联网业务中,数据库读写比例通常为4:1至10:1之间。在这类业务场景下,数据库的读负载远高于写负载,在遇到因为数据库读取压力大导致性能瓶颈的一个常见的解决方案就是增加只读实例(仅提供读功能)。用户只需要将业务中的读请求分担到只读实例上,就可以缓解主库查询压力,同时也可以把一些OLAP的分析查询放到另外的只读实例上,减小复杂统计查询对主库的冲击。只读实例无法单独存在,必须隶属于某个数据库主
分类:
数据库 时间:
2020-03-24 11:02:09
阅读次数:
95
什么是ClickHouse? 毛子开源的一个列式存储数据库(DBMS), 主要用于OLAP, 能使用SQL查询实时生成分析数据报告。 可以类比HBase 数据类型 与其他框架比较 | MySQL | Hive | ClickHouse | | | | | | byte | TINYINT | Int ...
分类:
其他好文 时间:
2020-03-17 19:30:21
阅读次数:
51
MySQL数据库学习目录 MySQL数据库初识 MySQL的库表详细操作 MySQL行(记录)的详细操作 MySQL之单表查询 MySQL之多表查询 Navicat工具、pymysql模块 MySQL之视图、触发器、事务、存储过程、函数 MySQL之索引原理与慢查询优化 MySQL之创建用户和授权 ...
分类:
数据库 时间:
2020-03-10 20:16:37
阅读次数:
69
速点链接加入高手战队:http://www.dajiangtai.com/course/112.do唯一由中国人主导的Apache顶级项目Kylin到底是什么ApacheKylin(ExtremeOLAPEngineforBigData)是一个开源的分布式分析引擎,为Hadoop等大型分布式数据平台之上的超大规模数据集提供标准SQL查询及多维分析(OLAP)能力,并提供亚秒级的交互式分析功能。它最
分类:
其他好文 时间:
2020-03-05 19:33:43
阅读次数:
77
OLTP与OLAP的介绍 数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银 ...
分类:
其他好文 时间:
2020-03-04 09:24:05
阅读次数:
82
静态数据:比如数据仓库中的数据, 类似三峡水库中的水. (数据挖掘, OLAP 分析工具) 流数据: 网络监控, 传感检测, 大量的, 流式的数据(不断的产生, 源源不断的到达). 比如 PM2.5 的检测, 这种需要实时的监控和处理(分析). 流数据的特性 推送的方式: 实时查询的结果 流计算应用 ...
分类:
其他好文 时间:
2020-02-29 20:39:25
阅读次数:
96
5.1 OLTP与OLAP 数据库系统一般分为两种类型:OLTP、OLAP: OLTP(On-Line Transaction Processing,联机事务处理)系统:也称为生产系统,它是事件驱动的、面向应用的,比如电子商务网站的交易系统就是一个典型的OLTP系统。 OLTP的基本特点: 数据在系 ...
分类:
其他好文 时间:
2020-02-24 16:38:08
阅读次数:
69