Spark 作为一个以擅长内存计算为优势的计算引擎，内存管理方案是其非常重要的模块； Spark的内存可以大体归为两类：execution和storage，前者包括shuffles、joins、sorts和aggregations所需内存，后者包括cache和节点间数据传输所需内存；在Spark 1 ...
分类：
其他好文 时间：
2019-10-02 00:35:40
阅读次数：
122
HDP版本：2.6.4.0 Kylin版本：2.5.1 机器：三台 CentOS 7，8G 内存 Kylin 的计算引擎除了 MapReduce ，还有速度更快的 Spark ，本文就以 Kylin 自带的示例 kylin_sales_cube 来测试一下 Spark 构建 Cube 的速度。 一、 ...
分类：
其他好文 时间：
2019-09-25 00:40:34
阅读次数：
171
Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理.什么是状态呢?比如我们在平时的开发中,需要对数据进行count,sum,max等操作,这些中间的结果(即是状态)是需要保存的,因为要不断的更新,这些值或者变量就可以理解为是一种状态,拿读取kafka为例,我们需要记录数据读取的位置 ...
分类：
其他好文 时间：
2019-09-15 23:54:58
阅读次数：
297
原文引用https://www.dazhuanlan.com/2019/08/25/5d625f4bb2308/ Apache Flink是一个分布式流计算引擎，开发者可以在其上快速实现流式计算。Apache Flink起源2009年在德国柏林理工大学成立的‘Stratosphere’项目。2014... ...
分类：
其他好文 时间：
2019-08-25 20:05:05
阅读次数：
140
1.随着互联网快速发展，数据量的快速膨胀，我们日增3000多亿数据量，因此需要针对PB级存储、几百TB的增量数据处理架构设计 2.系统逻辑划分总图： 暂不便透露 3.系统架构图： 4.大数据计算引擎我们是采用Apache Flink流式计算框架，并对其进行了一些优化，目前在生产环境，已经基本稳定运行 ...
分类：
其他好文 时间：
2019-08-15 12:51:51
阅读次数：
131
什么是大数据？举例：1、商品推荐：问题：（1）大量的订单如何存储？（2）大量的订单如何计算？2、天气预报：问题：（1）大量的天气数据如何存储？（2）大量的天气数据如何计算？如果你想要学好大数据最好加入一个好的学习环境，可以来这个Q群251956502这样大家学习的话就比较方便，还能够共同交流和分享资料什么是大数据，本质？（1）数据的存储：分布式文件系统（分布式存储）（2）数据的计算：分布式计算Ja
分类：
其他好文 时间：
2019-07-15 15:58:47
阅读次数：
116
Spark自定义排序与分区 前言： 随着信息时代的不断发展，数据成了时代主题，今天的我们徜徉在数据的海洋中；由于数据的爆炸式增长，各种数据计算引擎如雨后春笋般冲击着这个时代。作为时下最主流的计算引擎之一 Spark也是从各方面向时代展示自己的强大能力。Spark无论是在数据处理还是数据分析、挖掘方面 ...
分类：
编程语言 时间：
2019-06-09 19:40:48
阅读次数：
151
数据的爆炸式增长以及价值的扩大化，将对企业未来的发展产生深远的影响，数据将成为企业的核心资产。如何处理大数据，挖掘大数据的价值，让大数据为企业的发展保驾护航，将是未来信息技术发展道路上关注的重点。 ...
分类：
其他好文 时间：
2019-06-05 16:27:43
阅读次数：
96
https://mp.weixin.qq.com/s/Rx43XfhgdwerQWLn1eI3Ww 51信用卡金融风控场景下实时计算引擎的设计与实践 原创： 周来 51NB技术 5月7日 ...
分类：
其他好文 时间：
2019-06-02 01:34:39
阅读次数：
102
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapRe ...
分类：
其他好文 时间：
2019-05-26 19:56:20
阅读次数：
156
