在传统数据平台阶段，数据治理的目标主要是做管控，为数据部门建立一个的治理工作环境，包括标准、质量等。而在数据中台阶段，用户对数据的需求持续增长，用户范围从数据部门扩展到全企业，数据治理不能再只是面向数据部门了，需要成为面向全企业用户的工作环境，需要以全企业用户为中心，从给用户提供服务的角度，管理好数据的同时为用户提供自助获得大数据的能力，帮助企业完成数字化转型。 通过分析数据治理实际开展过程
分类：
其他好文 时间：
2020-06-29 15:44:39
阅读次数：
141
在非泛型类型中，各个实例共享静态成员： 1 class Program 2 { 3 static void Main(string[] args) 4 { 5 MyClass m1 = new MyClass(); 6 MyClass m2 = new MyClass(); 7 Console.Wr ...
完成数据治理体系的整体规划后，需要针对体系内的六大环节开始逐个突破。作为数据治理体系最前端的两个环节，数据标准管理体系和数据质量管理体系可谓整个数据治理工作中的“基础支撑”。 数据标准化的过程其实就是在数据整合平台实现数据标准，并将各个系统产生的数据通过清洗、转换加载到整合平台的数据模型中，实现数据标准化的过程。一个企业内部的数据标准化方式如此，一个行业监管机构在采集全行业数据时的数据标准化
分类：
其他好文 时间：
2020-06-12 12:27:07
阅读次数：
325
pandas读取、写入csv数据非常方便，但是有时希望通过excel画个简单的图表看一下数据质量、变化趋势并保存，这时候csv格式的数据就略显不便，因此尝试直接将数据写入excel文件。 pandas可以写入一个或者工作簿，两种方法介绍如下： 1、如果是将整个DafaFrame写入excel，则调用 ...
分类：
编程语言 时间：
2020-05-19 16:17:50
阅读次数：
1505
在使用机器学习模型对数据进行训练的时候，需要考虑数据量和数据维度，在很多情况下并不是需要大量的数据和大量的数据维度，这样会造成机器学习模型运行慢，且消耗硬件设备。除此之外，在数据维度较大的情况下，还存在”维度灾难“的问题。在本篇博客里不对数据质量的判定，以及数据的增删做详细的介绍，只介绍对于数据的降 ...
分类：
其他好文 时间：
2020-05-14 22:43:45
阅读次数：
281
命名规则： 数仓层级 + 主题 + 表名 数仓主题： dqm 数据质量管理 tb 数据基本信息 sii 脚本信息 bir bi报表信息 bs 业务信息 ...
分类：
其他好文 时间：
2020-05-07 18:11:13
阅读次数：
53
数据预处理的主要内容包括数据清洗、数据集成、数据变换、数据规约。 数据清洗主要是删除原始数据集中的无关数据、重复数据，平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值和异常值。 数据质量分析是检查数据中是否存在一些脏数据，例如：缺失值、异常值和不一致的值等。 数据缺失有很多原因，例如数据无法获得 ...
分类：
其他好文 时间：
2020-05-03 16:39:32
阅读次数：
136
https://zhuanlan.zhihu.com/p/64418072 源数据常常包含各种差错值，为了进行下一步的分析，我们必须先找出并更正这些差错，做这些工作几乎不会有什么快乐感可言，但却往往需要耗费很多精力。如果利用数据准备工具就能够发现这些数据质量问题，我们就可以节省大量时间。 Power ...
分类：
其他好文 时间：
2020-04-27 19:53:04
阅读次数：
97
正如大家所知，大数据建设的目标是为了融合组织数据，增加组织的洞察力和竞争力，实现业务创新和产业升级。而提高数据质量是为了巩固大数据建设成果，解决大数据建设成果不能满足业务要求的问题。并且，数据质量问题不仅仅是一个技术问题，它也可能出现在业务和管理的过程中。所以，要想提高数据质量，就必须懂行业、懂组织 ...
分类：
其他好文 时间：
2020-04-14 20:40:47
阅读次数：
125
研究现状与需求分析(A) 20世纪以来，国内外就已经注意到空间数据质量检查这一问题的重要性，并在上世纪末美国测绘界对其展开了详细的研究，并制定了相应的精度标准。1971年，美国成功开发出了一个能对地图数据的完整性以及一致性进行检查的地图编码系统。1988年，美国地理信息中心举办了一场以空间数据库准确 ...
分类：
其他好文 时间：
2020-04-13 12:28:12
阅读次数：
96
