累计快照事实表的概念 累积快照事实表用来表述过程开始和结束之间的关键步骤事件，覆盖过程的整个生命周期，通常具有多个日期字段来记录关键时间点， 当过程随着生命周期不断变化时，记录也会随着过程的变化而被修改。 设计过程 对于累积快照事实表，其建模过程和事务事实表相同，适用于维度建模的步骤。 下面详述淘宝 ...
分类：
其他好文 时间：
2021-06-15 18:18:49
阅读次数：
0
什么是维度 维度是维度建模的基础和灵魂。在维度建模中，将度量称为“事实” ，将环境描述为“维度”，维度是用于分析事实所需要的多样环境。 例如，在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的环境。 什么是维度属性 **维度所包含的表示维度的列，称为维度属性。**维度属性是查询约束 ...
分类：
其他好文 时间：
2021-06-11 18:39:56
阅读次数：
0
前面《报表自动化: 没有压力的维度建模》以超市的一个订单为例简单讲述了维度建模中事实表与维度表的概念，这一篇主要讲一讲维度里面的时间维度这个特殊的数据内容。 为什么说时间维度特殊呢？比如说商品的分类：蔬菜、水果、饮品、小家电……很多种分类，但这个分类的数量有限且不是很多，但是对于时间呢，每一时间点都 ...
分类：
其他好文 时间：
2020-03-20 22:21:45
阅读次数：
82
前面《报表自动化: 打开数据仓库的大门》提到了数仓分为了多个层次，其中 DW 层有多种建模方式，本文主要讲 维度建模 的方法，当然相关理论文章很多很多了，这篇文章主要是为了串一下流程，并不会详细的展开每一步的细节。 度量值 再开始聊维度之前，先让我们理解一下“度量”这个关键词，到底什么是度量？具体定 ...
分类：
其他好文 时间：
2020-03-20 22:06:16
阅读次数：
56
ODS：数据 来源 ： 一部分是来自关系型数据库，符合ER模型 。一部分来自日志 ，清洗成二维表 DWD： 把所有的数据清理整合 ，规范化 。脏数据清理 ，命名不规范的。最后拿到的是干净的 ，一致性的数据 。 把公共维度抽取出来，如区域 DWS： 维度建模，通用的汇总层 ，为了避免重复计算。 DM： ...
分类：
其他好文 时间：
2019-12-30 09:31:43
阅读次数：
212
凡事应该尽量简单，直到不能再简单为止。想明白、完全理解以下概念是做数仓工程师的必备条件之一。 一、用于度量的事实表 1.应该尽量将来源于同一个业务过程的底层度量结果存储于一个维度模型中。 2.事实表中的每一行对应一个度量事件。每行中的数据是一个特定级别的细节数据，称为粒度。 物理世界的每一个度量事件 ...
分类：
其他好文 时间：
2019-11-23 19:54:13
阅读次数：
58
上一篇文章我已经简单介绍了数据分析中为啥要建立数据仓库，从本周开始我们开始一起学习数据仓库。学习数据仓库，你一定会了解到两个人：数据仓库之父比尔·恩门（Bill Inmon）和数据仓库权威专家Ralph Kimball。Inmon和Kimball两种DW架构支撑了数据仓库以及商业智能近二十年的发展， ...
分类：
其他好文 时间：
2019-08-11 21:17:07
阅读次数：
111
构建数据仓库的核心是建模，在数据仓库的构建中，ETL贯穿于项目始终，它是整个数据仓库的生命线。从数据源中抽取数据，然后对这些数据进行转化，最终加载到目标数据库或者数据仓库中去，这也就是我们通常所说的 ETL 过程(Extract,Transform,Load)。 通常数据抽取工作分抽取、清洗、转换、 ...
分类：
其他好文 时间：
2019-08-05 13:47:31
阅读次数：
144
1. 简单一点的模型，事实表 ， 维度表 事实表：具有连贯数据编号的业务型数据，例如：发生的销售事实，才放入的数据，不要用0去表示，因为会有很多0 需要处理 维度表：维度表通常不满足第3范式，它通常非规范化，一个维度表往往存储在多对一的关系，和事实表相比较维度表要小很多，所有在存储来说，不怎么占空间 ...
分类：
其他好文 时间：
2019-04-24 14:49:06
阅读次数：
119
１.数据仓库架构，以及主题 数据仓库架构分层：数据源层，主题层，基础汇总层，应用层 主题：订单，用户，商品，商家，供应链，营销等 ２.数据仓库建模方法：范式建模(3NF)，维度建模(星形、雪花)，实体建模(关系) ３.锁有几种，及范围 从数据库系统角度分为三种：排他锁、共享锁、更新锁。按作用范围划分 ...
分类：
其他好文 时间：
2019-03-15 10:46:27
阅读次数：
193
