标签:数据 号码 问题 nbsp 最新 hive 一个 维表 bsp
SCD缓慢变化维,比如一个用户维表,用户属性会变化,但是不会变化很剧烈,可能一年只会变化一两次,也不会所有用户的属性都会有变化,只有少量的数据发生变化,所以叫缓慢变化维。这种问题就是由于维度的变化所造成的。
解决方式:
SCD1 保留最新状态
注册日期 | 用户编号 | 手机号码 |
2019-01-01 | 0001 | 111111 |
2019-01-01 | 0002 | 222222 |
2019-01-01 | 0003 | 333333 |
2019-01-01 | 0004 | 444444 |
注册日期 | 用户编号 | 手机号码 | 备注 |
2019-01-01 | 0001 | 111111 | 111111 |
2019-01-01 | 0002 | 233333 | (由22222变成23333) |
2019-01-01 | 0003 | 333333 | |
2019-01-01 | 0004 | 433333 | (由44444变成43333) |
2019-01-02 | 0005 | 555555 | (2019-01-02新增) |
缺点:没有任何历史状态,历史发生的事情无法追溯,企业中不关心历史状态的数据,可以使用SCD1
SCD2 保留所有历史状态
注册日期 | 用户编号 | 手机号码 |
2019-01-01 | 0001 | 111111 |
2019-01-01 | 0002 | 222222 |
2019-01-01 | 0003 | 333333 |
2019-01-01 | 0004 | 444444 |
注册日期 | 用户编号 | 手机号码 | 备注 |
2019-01-01 | 0001 | 111111 | 111111 |
2019-01-01 | 0002 | 233333 | (由22222变成23333) |
2019-01-01 | 0003 | 333333 | |
2019-01-01 | 0004 | 433333 | (由44444变成43333) |
2019-01-02 | 0005 | 555555 | (2019-01-02新增) |
标签:数据 号码 问题 nbsp 最新 hive 一个 维表 bsp
原文地址:https://www.cnblogs.com/RzCong/p/10695353.html