ETL概述 ETL(Extraction-Transformation-Loading)是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据, ETL是BI(商业智能)项目重要的一个环节。 数据治理流程 数据挖 ...
分类:
其他好文 时间:
2019-09-27 19:00:02
阅读次数:
117
大道至简的数据体系构建方法论:两步就让你打造出数据化运营的核心支柱! 大道至简的数据体系构建方法论:两步就让你打造出数据化运营的核心支柱! 很多企业已经意识到,一个系统化的数据体系将是数据化运营的核心支柱。那么,企业该如何清晰地打造自己的数据体系呢?作者将根据多年经验总结用简朴的语言告诉读者一套大道 ...
分类:
其他好文 时间:
2019-08-25 20:18:23
阅读次数:
123
大道至简的数据治理方法论——如何处理你手中的各种“脏数据”? 如果你是一位大厨,刚刚眉飞色舞地给客人描绘了如何搭配一道色香味俱佳的大菜,甚至连炒菜的手法都一一交代了,当你备好了各种为这道菜增鲜增色的调料后准备烹饪时,才发现所需的主要原料有问题。 大道至简的数据治理方法论——如何处理你手中的各种“脏数 ...
分类:
其他好文 时间:
2019-08-25 19:45:16
阅读次数:
93
在数据资产价值被高度认可和开发利用的今天,数据治理不仅仅需要作为一项管理职能在企业内贯彻执行,也应该成为一种企业文化。
分类:
其他好文 时间:
2019-08-16 23:19:02
阅读次数:
190
本文主要讲数据治理中的重要工作:数据质量管理。从数据质量管理的目标,质量问题产生的根源,讲到如何评估数据质量,如何贯彻数据质量管理流程,最后从取与舍两个角度谈谈我对质量问题的一些个人观点。
分类:
其他好文 时间:
2019-08-07 16:14:09
阅读次数:
112
Apache Atlas 简介 Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。 准备: 1.ubuntu 16.04 2.apache- ...
分类:
Web程序 时间:
2019-07-14 18:02:52
阅读次数:
300
2010年的中国(深圳)IT领袖峰会上,BAT三家的当家人发表了对于云计算的看法: 李彦宏:云计算是旧瓶装新酒。 马化腾:云计算需要到“阿凡达”时代才能实现,现在说确实太早了! 马云:如果我们不做云计算,将来会死掉。 现在来看,你是不是觉得9年前马云的眼光极其地超前? 2015年,阿里彷佛又再次超前 ...
分类:
其他好文 时间:
2019-07-04 11:32:19
阅读次数:
95
数据中台系统的一些思路。*引言企业借助于大数据/数据湖项目,一般同时需要完善对企业数据的梳理:对企业数据资产数据盘点,完善数据治理相关流程。对内便于数据用户使用数据。对外满足部监管对多种数据口径要求。*基本解决思路这类问题的基本解决思路是从元数据管理(包括业务,技术)角度完善数据生命周期管理。这里的元数据包含:传统意义的数据字典(表单,字段的含有)业务元数据梳理,包括业务指标,统计口径等(通常对应
分类:
其他好文 时间:
2019-05-13 11:08:34
阅读次数:
810
奇点云自研的一站式大数据智能服务平台——DataSimba,旨在提供数据采集、数据加工、数据治理、数据规范、数据资产、数据服务等全链路的产品+技术+方法论服务,构建面向业务应用的大数据智能平台。 ...
分类:
其他好文 时间:
2019-05-10 20:35:07
阅读次数:
162
企业中,70%的员工可访问本不应对其公开的数据*…这一现象正迅速成为各企业共同面临的合规问题。云技术的兴起和数据隐私相关法律的制定使数据治理成为数据集成架构最重要的功能之一。强有力的数据治理计划可确保您制定有完备的政策、标准和控制措施来对数据进行有效保护,并访问这些数据以便做出决策。 *见Harva ...
分类:
其他好文 时间:
2019-03-15 14:42:40
阅读次数:
222