标签:.com 相关 应用层 多元化 超出 高级 计算 优势 结构
4大特点解析华为云数据湖“黑科技”首当其冲的挑战便是,数据存储、数据处理、AI组件众多。处理难度极大。
紧接着,数据孤岛问题接踵而至。
多种数据源,每种数据单独在一个库中,业务人员需要在应用层做数据集成/数据搬移,技能要求高,工程耗时长。
数据量日益增大,数据源日益增多,单个库扩容困难,性能下降,成本高,难以做跨市跨省等全量数据分析。
缺乏高级分析工具,前沿技术,如机器学习、图计算、深度学习等,未能充分利用多种数据深入挖掘价值。
用智能解决非智能
鉴于数据湖现状,我们如何利用它们为企业带来优势?这里是智能数据湖整体解决方案,包含四个关键的实践:融合,高效,易用,智能
融合——云化的hadoop
统一数据存储,再无数据孤岛;开放格式,丰富的数据类型:JSON, CSV, AVRO,图片,视频等;开放接口,兼容原生社区应用:100%兼容OBS和HDFS接口,总而言之,我们在数据湖中处理数据,试图找到新的洞察力。我们不会,任由数据处于最原始的格式,我们将优化数据。确保数据得到治理,确保数据在语义上一致,并满足业务的要求。
高效
一个字:快。实时数据实时分析, Apache CarbonData加速,万亿数据秒级响应
易用
做一个一站式、端到端开发工具,支持大数据+AI敏捷开发。可视化,代表丰富的可视化组件,图形化编辑界面,同时支持定制;而数据湖一站式开发工具,可管理多种大数据服务,实现跨服务作业编排调度;支持拖拉拽,预设10多种任务类型。
最后,对于数据标准,数据质量,数据安全的治理不可或缺。
数据湖治理:一站式治理平台(数据标准,数据质量,数据安全)
智能
重点绝不仅仅是数据,而是始终关于你要做什么工作。使用场合是什么,你可以运用什么应用程序来处理该数据以便从中受益——用智能实现高效。
智能元数据采集,统一数据视图
智能数据管理,无需人工拷贝
智能优化建议,免DBA
对数据进行“联系”,而不是“收集”。相比将数据转移到越来越大的集群或数据仓库,让数据待在数据湖进行智能化处理,来得更省钱、更容易也更高效。
如果想先试试效果,无论是企业用户,还是个人用户,华为云均提供了一组免费套餐,最高可免费试用60天,与此同时,华为云数据湖工厂(Data Lake Factory)2018年12月31日前提供免费试用,名额有限。
更多详细内容,欢迎访问:华为云学院基础课程( edu.huaweicloud.com/courses/ ),课程获取密钥:
搜索“数据湖”即可。
标签:.com 相关 应用层 多元化 超出 高级 计算 优势 结构
原文地址:http://blog.51cto.com/13988201/2334406