http://km.ciozj.com/Detail.Aspx?AI=98314&CI=2 随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名 ...
分类：
其他好文 时间：
2019-10-20 11:11:34
阅读次数：
95
背景 相较传统的重量级OLAP数据仓库，“数据湖”以其数据体量大、综合成本低、支持非结构化数据、查询灵活多变等特点，受到越来越多企业的青睐，逐渐成为了现代数据平台的核心和架构范式。 数据湖的核心功能，简单地可以分为数据存储与数据查询计算两个部分，在云端可以有多种的实现选择。在之前的文章中，我们曾介绍 ...
分类：
其他好文 时间：
2019-08-18 11:24:20
阅读次数：
105
在“数据湖”概念与理论逐渐深入人心的今天，面向云存储的交互式查询显得愈发重要。本文主要探讨在Azure上使用PolyBase技术实现类似AWS Athena的云存储即席查询。 ...
分类：
其他好文 时间：
2019-07-14 11:30:45
阅读次数：
145
1.DWI DWI：数据湖、数据砥柱，一般存放在HDFS 数据仓库的基础数据来源，各种杂七杂八的数据 关键点：数据清洗、数据整合、异常处理、增量获取 ETL：E-数据抽取、数据清洁、格式转换，T-生成代理键ID、遵循三范式，L-数据加载 2.DWR DWR：数据仓库的中间层，星型结构 根据业务划分： ...
分类：
其他好文 时间：
2019-07-03 00:28:13
阅读次数：
481
数据中台系统的一些思路。*引言企业借助于大数据/数据湖项目，一般同时需要完善对企业数据的梳理：对企业数据资产数据盘点，完善数据治理相关流程。对内便于数据用户使用数据。对外满足部监管对多种数据口径要求。*基本解决思路这类问题的基本解决思路是从元数据管理（包括业务，技术）角度完善数据生命周期管理。这里的元数据包含：传统意义的数据字典（表单，字段的含有）业务元数据梳理，包括业务指标，统计口径等（通常对应
分类：
其他好文 时间：
2019-05-13 11:08:34
阅读次数：
810
“使用USQL产品，用户在原有的数据文件基础上进行数据建模，即可使用SQL进行业务数据的快速查询，此种方式对原有数据文件改动较小，用户不用关注大数据分布式处理的过程，业务迁移方便。对比我们现有的大数据处理方案，节省80%的服务器成本，提升50%数据分析速度，同时也缩短了新业务的开发周期，值得推荐。”——爱普新媒CTO牛德恒USQL是什么？数据湖分析（USQL）是一种可扩展性强、成本低廉的无服务器S
分类：
数据库 时间：
2019-04-22 19:26:51
阅读次数：
176
0. Data Lake Analytics（简称DLA）介绍 数据湖（Data Lake）是时下大数据行业热门的概念：https://en.wikipedia.org/wiki/Data_lake。基于数据湖做分析，可以不用做任何ETL、数据搬迁等前置过程，实现跨各种异构数据源进行大数据关联分析， ...
分类：
其他好文 时间：
2019-03-01 17:09:45
阅读次数：
216
4大特点解析华为云数据湖“黑科技”如果有人问数据湖是什么，我会告诉他们，是“桶装水”的集合。随着企业业务的发展，数据出现井喷，数据量呈几何增长，数据来源和类型更加多元化。传统数据仓库就如同“桶装水商店”，已经承载不了全部水体，因此需要一个可以满足存储需求的，新的架构作为大数据的支撑。这就是数据湖。它汇聚不同数据源的溪流，包括大量无序的非结构化数据（文本、图像、声音、网页等）。我们把它倒入数据湖，然
分类：
其他好文 时间：
2018-12-24 11:16:29
阅读次数：
134
背景：笔者和团队的小伙伴近期在进行 数据治理/元数据管理 方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获。 元数据管理系列文章： "0] [使用Atlas进行元数据管理之Atlas简介" "1] [使用Atlas进行元数据管理之Glossary(术语)" "2] ...
分类：
其他好文 时间：
2018-11-20 00:09:33
阅读次数：
393
前言 “当你不创造东西时，你只会根据自己的感觉而不是能力去看待问题。” – WhyTheLuckyStiff 汇总一些自己在大数据路上走过的弯路，愿大家不再掉坑… 1.分布式存储 传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点，同时采用 ...
分类：
其他好文 时间：
2018-06-02 19:40:45
阅读次数：
179
