仓库的主要区别：数据仓库是企业级的，能为整个企业各个部门的运行提供决策支持手段；而数据集市则是一种微型的数据仓库,它通常有更少的数据,更少的主题区域,以及更少的历史数据,因此是部门级的，一般只能为某个局部范围内的管理人员服务，因此也称之为部门级数据仓库。 数据仓库 数据集市 数据的来源 生产系统、外 ...
分类：
其他好文 时间：
2019-08-17 20:01:26
阅读次数：
103
一个典型的星型模式包括一个大型的事实表和一组逻辑上围绕这个事实表的维度表。 事实表是星型模型的核心，事实表由主键和度量数据两部分组成。星型模型中各维度表主键的组合构成事实表的主键。事实表中存放的大量数据，是同主题密切相关的、用户最关心的度量数据。星级酒店最需要关注的是客户消费情况。为分析的需求，基 ...
分类：
其他好文 时间：
2019-08-17 19:58:53
阅读次数：
93
最近和一位在政府交通部门工作的朋友聊天，谈到大数据应用，他们领导近几年对公共交通管理的数据信息化建设非常重视，特别是一些交通大屏监控看板的应用。此前在面对这类数据大屏监控的可视化展示需求时，一般会由外包项目方通过代码等形式进行开发，然后经过美工不断优化调整，最终再交付到相关部门进行评审和上线。 通过 ...
分类：
其他好文 时间：
2019-07-10 10:53:56
阅读次数：
110
1． 本项目中数据仓库的设计 注：采用星型模型 1.1． 事实表设计 原始数据表: ods_weblog_origin =>对应mr清洗完之后的数据 valid string 是否有效 remote_addr string 访客ip remote_user string 访客用户信息 time_lo ...
分类：
Web程序 时间：
2019-06-29 10:31:18
阅读次数：
193
1. 简单一点的模型，事实表 ， 维度表 事实表：具有连贯数据编号的业务型数据，例如：发生的销售事实，才放入的数据，不要用0去表示，因为会有很多0 需要处理 维度表：维度表通常不满足第3范式，它通常非规范化，一个维度表往往存储在多对一的关系，和事实表相比较维度表要小很多，所有在存储来说，不怎么占空间 ...
分类：
其他好文 时间：
2019-04-24 14:49:06
阅读次数：
119
一、筛选器相关 1、筛选器的可选择范围不正确 在Power BI中，维度表和事实表之间的数据建模非常重要，我们在进行关系的建立的时候，PBI Desktop会根据我们的数据情况自动选择两个表之间的基数和交叉筛选方向，在大多时候，其自动选择的也正是我们需要的，但有时候，可能会不符合我们的需求，今天我在 ...
分类：
其他好文 时间：
2019-04-15 16:47:27
阅读次数：
172
SCD缓慢变化维，比如一个用户维表，用户属性会变化，但是不会变化很剧烈，可能一年只会变化一两次，也不会所有用户的属性都会有变化，只有少量的数据发生变化，所以叫缓慢变化维。这种问题就是由于维度的变化所造成的。 解决方式： 是否保留历史数据 保留多久历史数据 历史状态如何与事实表关联 SCD1 保留最新 ...
分类：
其他好文 时间：
2019-04-12 13:26:13
阅读次数：
181
简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素 ...
分类：
数据库 时间：
2019-03-07 15:53:30
阅读次数：
186
表的限制项 表(Table)设计规范 表设计主要目标 表设计的影响 表设计步骤 表数据存储规范 按数据分层规范数据生命周期 按数据的变更和历史规范数据的保存 数据导入通道与表设计 分区设计与逻辑存储的对应 表和分区设计基本规则 分区设计
分类：
其他好文 时间：
2018-12-19 17:57:29
阅读次数：
174
在新建一张分区表或者对老分区表更改表结构后希望能保留老的分区的数据，因此就需要对新建的分区表进行初始化重刷历史分区数据操作。 一、初始化刷新方法1 事实表和维表均取最新分区数据，以事实表的业务动作事实发生日期作为历史分区的分区字段值。参考下面这段hive脚本 1 insert overwrite t ...
分类：
其他好文 时间：
2018-11-22 12:28:23
阅读次数：
602
