一个job的生命历程 （1）所有的action算子都会触发一个job的调度，经过多次不同的runjob重载后停在这里调度 submitJob （2）调用eventProcessLoop方法，并发送 JobSubmitted 消息给DAGSchedulerEventProcessLoop(DAGSch ...
分类：
其他好文 时间：
2018-06-15 00:55:59
阅读次数：
193
一个job的生命历程 dagScheduler.runJob //（1） --> submitJob ( eventProcessLoop.post(JobSubmitted,***) //（2） --> eventProcessLoop //（3） --> onReceive(event: DAG ...
分类：
其他好文 时间：
2018-01-21 01:06:43
阅读次数：
161
1、sc.runJob -> dagScheduler.runJob -> submitJob 2、DAGSchedueler::submitJob 会创建 JobSubmitted 的 event 发给内嵌类 eventProcessActor 3、eventPRocessActor 在接收到 J ...
分类：
其他好文 时间：
2017-08-01 12:53:15
阅读次数：
171
上一节举例讲解了transformation操作，这一节以reduce为例讲解action操作
首先看submitJob方法，它将我们reduce中写的处理函数随JobSubmitted消息传递出去，因为每个分区都需要调用它进行计算；
而resultHandler是指最后合并的方法，在每个task完成后，需要调用resultHandler将最终结果合并。所以它不需要随JobSubmitted消...
分类：
其他好文 时间：
2015-08-29 17:04:24
阅读次数：
225
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01...
分类：
其他好文 时间：
2015-01-20 18:06:57
阅读次数：
211
