假设Spark的部署方式选择Standalone，一个採用Master/Slaves的典型架构，那么Master是有SPOF（单点故障，Single Point of Failure）。Spark能够选用ZooKeeper来实现HA。 ZooKeeper提供了一个Leader Election机制， ...
分类：
其他好文 时间：
2017-06-10 12:42:23
阅读次数：
248
假设Spark的部署方式选择Standalone。一个採用Master/Slaves的典型架构。那么Master是有SPOF（单点故障，Single Point of Failure）。Spark能够选用ZooKeeper来实现HA。 ZooKeeper提供了一个Leader Election机制， ...
分类：
其他好文 时间：
2017-06-10 12:22:02
阅读次数：
240
Spark的Cluster Manager能够有几种部署模式：StandloneMesosYARNEC2Local在向集群提交计算任务后，系统的运算模型就是Driver Program定义的SparkContext向APP Master提交，有APP Master进行计算资源的调度并终于完毕计算。具 ...
分类：
其他好文 时间：
2017-06-04 11:51:11
阅读次数：
425
流式大数据处理的三种框架：Storm，Spark和Samza 2017-06-01 Spark技术日报 本文来自CSDN博客，ID「秋夜无霜」 原文：http://blog.csdn.net/shichen2010/article/details/72758300 许多分布式计算系统都可以实时或接近 ...
分类：
其他好文 时间：
2017-06-03 12:58:28
阅读次数：
171
这篇文章参考《Spark快速大数据分析》，归纳spark技术核心的rdd及MLlib以及其中几个重要库的使用。 初始化操作 spark shell: bin/pyspark 每个spark应用都由一个驱动器程序(driver program)来发起集群上的各种并行操作，驱动器程序包含应用的main函 ...
分类：
其他好文 时间：
2017-05-16 12:55:05
阅读次数：
197
本节内容 1.流式处理系统背景 1.1 技术背景 1.2 Spark技术很火 2.流式处理技术介绍 2.1流式处理技术概念 2.2流式处理应用场景 2.3流式处理系统分类 3.流式处理技术关键技术 3.1流式处理系统管道构建 3.2流式处理系统关键技术 3.3用户行为分析系统介绍 4.问题答疑 5. ...
分类：
其他好文 时间：
2017-05-07 21:59:48
阅读次数：
334
1.hive 与sparkSql比较 2.使用的语言 3.使用的框架 4.描述 ...
分类：
数据库 时间：
2017-03-13 19:18:56
阅读次数：
180
网易大数据平台的Spark技术实践 网易大数据平台的Spark技术实践 作者 王健宗 网易的实时计算需求 对于大多数的大数据而言，实时性是其所应具备的重要属性，信息的到达和获取应满足实时性的要求，而信息的价值需在其到达那刻展现才能利益最大化，例如电商网站，网站推荐系统期望能实时根据顾客的点击行为分析 ...
分类：
其他好文 时间：
2016-11-06 07:48:55
阅读次数：
317
一、引言 Spark内存计算框架 中国Spark技术峰会 十二场演讲 大数据改变世界，Spark改变大数据 大数据： 以Hadoop 2.x为主的生态系统框架（MapReduce并行计算框架） 存储数据、处理数据 分布式 Spark： 类似于MapReduce的另外一种分布式计算框架 核心： 数据结 ...
分类：
其他好文 时间：
2016-09-25 15:41:54
阅读次数：
101
【译】避免使用GroupByKey Scala Spark 技术 Scala Spark Scala Spark 技术 by:leotse 原文：Avoid GroupByKey 译文 让我们来看两个wordcount的例子，一个使用了reduceByKey，而另一个使用groupByKey: 12 ...
分类：
其他好文 时间：
2016-08-28 22:21:51
阅读次数：
146
