PS_SCHDLDEFNPS_SCHDLITEMPS_SCHDLNODEPARMPS_SCHDLNOTIFYPS_SCHDLMESSAGE 其中，PS_SCHDLDEFN中SCHEDULESTATUS的含义如下： 0=Inactive 1=Active 2=Completed 更详细的信息请看htt ...
分类：
其他好文 时间：
2018-07-03 15:05:57
阅读次数：
151
本篇博文的目标如下：
1. ReceiverBlockTracker容错安全性
2. DStream和JobGenerator容错安全性文章的组织思路如下：
考虑Driver容错安全性，我们要思考什么？
再详细分析ReceiverBlockTracker，DStream和JobGenerator容错安全性一：容错安全性
1. ReceivedBlockTracker负责管理Spa...
分类：
其他好文 时间：
2016-05-27 12:21:02
阅读次数：
169
本讲内容：a. JobScheduler内幕实现
b. JobScheduler深度思考注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上节课，我们以JobGenerator类为重心，为大家左右延伸，解密Job之动态生成；并总结出了Job之动态生成的三大核心：a. JobGenerator: 负责Job生成b. JobSheduler:负责Job...
分类：
其他好文 时间：
2016-05-27 12:19:58
阅读次数：
160
本期内容：1.ReceiverBlockTracker容错安全性2.DStream和JobGenerator容错安全性一：容错安全性1.ReceivedBlockTracker负责管理SparkStreaming运行程序的元数据。数据层面2.DStream和JobGenerator是作业调度的核心层面，也就是具体调度到什么程度了，从运行的考虑的。DStream是..
分类：
其他好文 时间：
2016-05-25 15:17:57
阅读次数：
450
本期内容 1、ReceivedBlockTracker容错安全性 2、DStreamGraph和JobGenerator容错安全性 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以 ...
分类：
其他好文 时间：
2016-05-24 11:45:51
阅读次数：
151
本期内容：ReceivedBlockTracker容错安全性DStream和JobGenerator容错安全性Driver的容错有两个层面：1.Receiver接收数据的元数据2.Driver管理的各组件信息（调度和驱动层面）元数据采用了WAL的容错机制caseAddBlock(receivedBlockInfo)=>
if(WriteAheadLogUtils.isBatching..
分类：
其他好文 时间：
2016-05-23 01:16:02
阅读次数：
251
本节的主要内容： 一、ReceivedBlockTracker容错安全性 二、DStreamGraph和JobGenerator容错安全性 从数据层面，ReceivedBlockTracker为整个Spark Streaming应用程序记录元数据信息。 从调度层面，DStreamGraph和JobG ...
分类：
其他好文 时间：
2016-05-22 19:54:52
阅读次数：
199
本期内容：1、JobScheduler内幕实现2、JobScheduler深度思考JobScheduler是SparkStreaming的调度核心，地位相当于SparkCore上调度中心的DAGScheduler，非常重要！JobGenerator每隔BatchDuration时间会动态的生成JobSet提交给JobScheduler，JobScheduler接收到JobSet后，如何处..
分类：
其他好文 时间：
2016-05-20 14:53:19
阅读次数：
366
一：Spark Streaming Job生成深度思考
1. 做大数据例如Hadoop,Spark等，如果不是流处理的话，一般会有定时任务。例如10分钟触发一次，1个小时触发一次，这就是做流处理的感觉，一切不是流处理，或者与流处理无关的数据都将是没有价值的数据，以前做批处理的时候其实也是隐形的在做流处理。
2. JobGenerator构造的时候有一个核心的参数是jobScheduler,...
分类：
其他好文 时间：
2016-05-18 18:59:03
阅读次数：
236
对于每个SparkStreaming程序，我们都会设置一个batchDuration。也就是用来控制多久触发一次Streaming的job。Streamingjob的主要任务针对特定的时刻，通过RDD的模板DStream中实例化RDD，并且通过DStreamGraph中实例化出RDDDAG。然后将RDDDAG提交给集群运行。在SparkStreaming里..
分类：
其他好文 时间：
2016-05-13 15:27:35
阅读次数：
252
