一.说明 在大数据平台的业务场景中，处理实时kafka数据流数据，以成为必要的能力；此篇将尝试通过Apache NiFi来接入Kafka数据然后处理后存储之HBase 二.开拔 Ⅰ).配置ConsumeKafka_0_10 a).选择ConsumeKafka_0_10 b).配置ConsumeKaf ...
分类：
Web程序 时间：
2020-01-04 18:52:05
阅读次数：
238
白皮书首次完整介绍了我司数据中台的数据资产管理、数据开放共享、开发协作调度、数据采集与迁移管理、数据可视化及自助分析、平台运维管控六大技术领域，并从抽象出来的平台支撑、数据管理和数据产品三大体系逐一拆开讲解。 ...
分类：
其他好文 时间：
2020-01-03 00:27:17
阅读次数：
111
导读 三大特点、五大重点，一套硬核安防视频云平台是这样炼成的 很多人会困惑，云计算究竟是什么？ 它是可以被看作为商品的一种计算能力，可以在线上被无限制流通，就如水、电、煤气一样，可以被人们方便地取用，且价格相较低廉。 十多年前，无论是中国、美国，亚洲、欧洲，无论是大企业还是小公司，建设企业 IT 架 ...
分类：
其他好文 时间：
2019-12-27 20:22:06
阅读次数：
69
近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层难以直接利用大数据大数据，大数据和业务产生了巨大的鸿沟，这道鸿沟的出现导致企业在使用大数据的过程中出现数据不可知、需求难实现、数据难共享等一系列问题，本文介绍了一些数据平台设计思路来帮助业务减少数据开发中的痛点和难点。
分类：
其他好文 时间：
2019-12-23 18:52:28
阅读次数：
96
一、需求场景分析 在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系，从而分析出数据的上下游依赖关系。 本文将介绍如何去根据MaxCompute Informati ...
分类：
其他好文 时间：
2019-12-23 15:09:52
阅读次数：
125
本文内容根据演讲视频以及PPT整理而成。 双十一！=11.11 首先从双11说起，双11已经成为阿里巴巴最大的单日促销活动。双11活动可能对于消费者而言只是一天而已，但是对于阿里巴巴和数百万商家而言，却是一个非常长线的工作。站在阿里巴巴的角度来看双11，其实无论是从业务线还是技术线，背后都存在着很多 ...
分类：
其他好文 时间：
2019-12-20 18:33:47
阅读次数：
86
2019年中国三分之二的数据中心、IT基础设施支出流向中国本土厂商，北京智和信通作为国产化AIOps智能运维大数据平台解决方案提供商，率先支持纯国产操作系统上部署运行，智和网管平台SugarNMS以国产化、高拓展性为核心的AIOps智能运维管理软件成为行业的前沿力量。 ...
分类：
其他好文 时间：
2019-12-16 13:25:34
阅读次数：
141
公司最近在做的一个项目，依然是采用熟悉的vue开发，数据平台因为其数据量大的特点，采用传统的spa模式，首页加载时间很长，而SSR这种方式对于首屏的加载时间优化显而易见，同时还可以方便的进行SEO。因此借机学习Nuxt.js框架（文档详细，更新快，issue反馈及时）及iview（比较优秀的一款UI ...
分类：
其他好文 时间：
2019-11-20 13:05:04
阅读次数：
82
TBase 是腾讯数据平台团队在开源的 PostgreSQL 基础上研发的企业级分布式 HTAP 数据库管理系统： 具备高性能可扩展的分布式事务能力，支持 RC 和 RR 两种隔离级别； 通过安全、管理、审计三权分立体系，提供全方位的数据安全保证机制； 支持高性能分区表，可使得数据检索效率成倍提升； ...
分类：
数据库 时间：
2019-11-19 00:43:06
阅读次数：
120
【北京/上海/南京】【部门直推】【可查询】【实习&社招】字节跳动数据平台前端内推 重要信息，写在前面 【投递邮箱】chengxinsong@bytedance.com 【微信扫码】 2019接近尾声，最后上车的机会，一定要抓住！！！ 投过字节跳动，面试挂过不要紧！部门直推，捞起再面！ 实习同学对项目 ...
分类：
其他好文 时间：
2019-11-15 18:44:30
阅读次数：
84
