大数据开发专业需要学习的内容包括三大部分,分别是大数据基础知识、大数据平台知识、大数据场景知识。大数据基础知识:有三个主要部分,分别是数学、统计学和计算机等学科。大数据基础知识往往决定了开发人员未来的成长高度,所以要重视基础知识的学习。大数据平台知识:是大数据开发的基础,在学习期间,往往以搭建Hadoop、Spark平台为主,一方面Hadoop对机器的硬件要求不高,另一方面Hadoop的使用也非常
分类:
其他好文 时间:
2019-07-07 12:42:40
阅读次数:
88
本文我们探讨实时数据平台RTDP的相关概念背景和架构设计方案。
分类:
其他好文 时间:
2019-07-02 14:44:46
阅读次数:
126
大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据仓库工具无法处理完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行的各 ...
分类:
其他好文 时间:
2019-07-02 13:26:42
阅读次数:
126
iPhone6发布那年,京东在国贸等商圈送货最快速度数分钟,包括从下单到送达。这是一个极端的富含营销因素例子。即便如此,常态来看,隔天到货的这种业务模式,也是基于同样的支撑:营销业务、物流业务,大数据业务,数据平台和数据。 京东云在集团中担负着对外助力企业发展的责任。因为京东云的整体产品线确实特别丰 ...
分类:
数据库 时间:
2019-06-28 21:02:38
阅读次数:
152
TiDB在特来电的探索 一、 为什么研究TiDB 特来电大数据平台通过开源与自研相结合的方式,目前已经上线多套集群满足不同的业务需求.目前在大数据存储和计算方面主要使用了Hbase、Elasticsearch、Druid、Spark、Flink.大数据技术可谓是百花齐放,百花齐放 百家争鸣,不同的技 ...
分类:
数据库 时间:
2019-06-23 23:03:59
阅读次数:
272
大数据多维分析平台的实践 一、 大数据多维分析平台搭建的初心 随着公司业务量的增长,基于传统关系型数据库搭建的各种报表查询分析系统,性能下降明显。同时由于大数据平台的的日趋完善,实时的核心业务数据逐步进入大数据平台。数据进入了大数据平台,相伴而来的是各种业务需求,这里主要聚焦在如何高效稳定的基于大数 ...
分类:
其他好文 时间:
2019-06-23 22:56:23
阅读次数:
183
主机角色表 Node1: Node2: Node3: Node4: Node5: ...
分类:
其他好文 时间:
2019-06-19 23:26:28
阅读次数:
125
【导读】数据采集是进行大数据分析的前提也是必要条件,在整个流程中占据重要地位。本文将介绍大数据三种采集形式:系统日志采集法、网络数据采集法以及其他数据采集法。(一)系统日志采集法系统日志是记录系统中硬件、软件和系统问题的信息,同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因,或者寻找受到***时***者留下的痕迹。系统日志包括系统日志、应用程序日志和安全日志。(百度百科)大数据平台或
分类:
其他好文 时间:
2019-06-19 12:02:23
阅读次数:
149
阅读文章:阿里如何实现秒级百万TPS?搜索离线大数据平台架构解读 文章网址:https://mp.weixin.qq.com/s?__biz=MzIzOTU0NTQ0MA==&mid=2247488245&idx=1&sn=1c70a32f11da7916cb402933fb65dd9f&chksm ...
分类:
其他好文 时间:
2019-06-17 15:46:41
阅读次数:
140
在目前的市场上,其实大家都会发现,有很多的bi软件早就已经出现在大家的企业中,可是也有很多的人对于这些知识了解的并不是很多,比如说也想要知道bi软件有哪一些呢,其实最为常见的就是下面的这三种。 1、BDP商业数据平台 要说bi软件有哪些,这肯定也是大家最为关心的,能够有效的帮助企业快速的完成数据的整 ...
分类:
其他好文 时间:
2019-06-17 10:28:11
阅读次数:
83