储存方面：数据湖中数据为非结构化的，所有数据都保持原始形式；存储所有数据，并且仅在分析时再进行转换。数据仓库就是数据通常从事务系统中提取，在将数据加载到数据仓库之前，会对数据进行清理与转换。 数据组织形式：数据湖就是捕获半结构化和非结构化数据。而数据仓库则是捕获结构化数据并将其按模式组织。 用途：数 ...
分类：
其他好文 时间：
2020-06-28 20:54:41
阅读次数：
67
一个近期由Hudi PMC & Uber Senior Engineering Manager Nishith Agarwal分享的Talk 关于Nishith Agarwal更详细的介绍，主要从事数据方面的工作，包括摄取标准化，数据湖原语等。 什么是数据湖？数据湖是一个集中式的存储，允许以任意规模 ...
分类：
Web程序 时间：
2020-06-27 21:38:27
阅读次数：
221
1. 引入 开源Apache Hudi项目为Uber等大型组织提供流处理能力，每天可处理数据湖上的数十亿条记录。 随着世界各地的组织采用该技术，Apache开源数据湖项目已经日渐成熟。 Apache Hudi（Hadoop Upserts Deletes and Incrementals）是一个数据 ...
分类：
Web程序 时间：
2020-06-21 13:52:56
阅读次数：
166
摘要：什么是数据湖？它有什么作用？今天将由华为云技术专家从理论出发，将问题抽丝剥茧，从技术维度娓娓道来。 什么是数据湖 如果需要给数据湖下一个定义，可以定义为这样：数据湖是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。 数据湖从企业的多个数据源获取原始数据，并且针对 ...
分类：
其他好文 时间：
2020-06-15 11:51:53
阅读次数：
76
基于创新的技术架构，新一代云原生数据仓库可支持PB级数据关联分析和实时查询，实现离线、实时、分析、服务的四位一体。
分类：
其他好文 时间：
2020-06-11 11:57:12
阅读次数：
93
目前市面上流行的三大开源数据湖方案分别为：delta、Apache Iceberg和Apache Hudi。 其中，由于Apache Spark在商业化上取得巨大成功，所以由其背后商业公司Databricks推出的delta也显得格外亮眼。 Apache Hudi是由Uber的工程师为满足其内部数据 ...
分类：
其他好文 时间：
2020-06-05 14:44:10
阅读次数：
362
导读： 数据湖概念的诞生，源自企业面临的一些挑战，如数据应该以何种方式处理和存储。最开始，企业对种类庞杂的应用程序的管理都经历了一个比较自然的演化周期。 最开始的时候，每个应用程序会产生、存储大量数据，而这些数据并不能被其他应用程序使用，这种状况导致 数据孤岛 的产生。随后数据集市应运而生，应用程序 ...
分类：
其他好文 时间：
2020-05-04 13:49:08
阅读次数：
64
数字经济时代，数据正在成为重要的资源，甚至是资产，而云则是存储、管理、利用、保护这些资产的重要基础设施。如何保障数据的安全性，进而保障业务的连续性成为云所要解决的关键问题之一。
分类：
其他好文 时间：
2020-04-22 18:14:58
阅读次数：
124
什么是数据湖? 数据湖是一个存储库，可以存储大量结构化、半结构化和非结构化数据。它是一个以本机格式存储每种类型数据的地方，不受帐户大小或文件的固定限制。它提供了高数据量来提高分析性能和本地集成。 数据湖就像一个大容器，非常类似于真实的湖泊和河流。就像在一个湖中有多个支流，一个数据湖有结构化数据，非结 ...
分类：
其他好文 时间：
2020-03-14 10:58:47
阅读次数：
99
什么是数据湖？有什么用？终于有人讲明白了…… http://www.sohu.com/a/297380534_464033 2019-02-24 21:15 导读：数据湖概念的诞生，源自企业面临的一些挑战，如数据应该以何种方式处理和存储。最开始，企业对种类庞杂的应用程序的管理都经历了一个比较自然的演 ...
分类：
其他好文 时间：
2020-01-12 09:32:36
阅读次数：
85
