上一小节《TaskScheduler源代码与任务提交原理浅析2》介绍了Driver側将Stage进行划分。依据Executor闲置情况分发任务，终于通过DriverActor向executorActor发送任务消息。 我们要了解Executor的运行机制首先要了解Executor在Driver側的注
分类：
其他好文 时间：
2016-03-22 21:50:55
阅读次数：
348
引言上一小节《任务执行机制和Task源码浅析1》介绍了Executor的注册过程。
这一小节，我将从Executor端，就接收LaunchTask消息之后Executor的执行任务过程进行介绍。1. Executor的launchTasks函数DriverActor提交任务，发送LaunchTask指令给CoarseGrainedExecutorBackend，接收到指令之后，让它内部的execu...
分类：
其他好文 时间：
2015-07-20 23:38:59
阅读次数：
175
引言上一小节《TaskScheduler源码与任务提交原理浅析2》介绍了Driver侧将Stage进行划分，根据Executor闲置情况分发任务，最终通过DriverActor向executorActor发送任务消息。
我们要了解Executor的执行机制首先要了解Executor在Driver侧的注册过程，这篇文章先了解一下Application和Executor的注册过程。1. Task类及其...
分类：
其他好文 时间：
2015-07-20 23:38:48
阅读次数：
174
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02...
分类：
其他好文 时间：
2015-01-20 20:38:35
阅读次数：
233
