回到dagScheduler.runJob，submit提交作业返回waiter，waiter.awaitResult阻塞线程，判断Job是否执行成功def runJob[T, U: ClassTag]( rdd: RDD[T], func: (TaskContext, Iter...
分类：
Web程序 时间：
2015-07-26 22:32:54
阅读次数：
200
引言上一节《TaskScheduler源码与任务提交原理浅析1》介绍了TaskScheduler的创建过程，在这一节中，我将承接《Stage生成和Stage源码浅析》中的submitMissingTasks函数继续介绍task的创建和分发工作。DAGScheduler中的submitMissingTasks函数如果一个Stage的所有的parent stage都已经计算完成或者存在于cache中，那...
分类：
其他好文 时间：
2015-07-18 22:49:09
阅读次数：
140
引入上一篇文章《DAGScheduler源码浅析》中，介绍了handleJobSubmitted函数，它作为生成finalStage的重要函数存在，这一篇文章中，我将就DAGScheduler生成Stage过程继续学习，同时介绍Stage的相关源码。Stage生成Stage的调度是由DAGScheduler完成的。由RDD的有向无环图DAG切分出了Stage的有向无环图DAG。Stage的DAG通过...
分类：
其他好文 时间：
2015-07-15 22:46:51
阅读次数：
191
DAGSchedulerDAGScheduler的主要任务是基于Stage构建DAG，决定每个任务的最佳位置
记录哪个RDD或者Stage输出被物化
面向stage的调度层，为job生成以stage组成的DAG，提交TaskSet给TaskScheduler执行
重新提交shuffle输出丢失的stage
每一个Stage内，都是独立的tasks，他们共同执行同一个compu...
分类：
其他好文 时间：
2015-07-15 19:25:54
阅读次数：
1476
引入上一篇文章DAGScheduler源码浅析主要从提交Job的流程角度介绍了DAGScheduler源码中的重要函数和关键点，这篇DAGScheduler源码浅析2主要参考fxjwind的Spark源码分析 – DAGScheduler一文，介绍一下DAGScheduler文件中之前没有介绍的几个重要函数。事件处理在Spark 1.0版本之前，在DAGScheduler类中加入eventQueue...
分类：
其他好文 时间：
2015-07-15 19:19:35
阅读次数：
165
SparkContext的初始化SparkContext是应用启动时创建的Spark上下文对象，是进行Spark应用开发的主要接口，是Spark上层应用与底层实现的中转站（SparkContext负责给executors发送task）。
SparkContext在初始化过程中，主要涉及一下内容：
SparkEnv
DAGScheduler
TaskScheduler
Sche...
分类：
其他好文 时间：
2015-07-14 20:29:32
阅读次数：
157
Spark Runtime里的主要层次分析，梳理Runtime组件和执行流程，DAGSchedulerJob=多个stage，Stage=多个同种task, Task分为ShuffleMapTask和ResultTask，Dependency分为ShuffleDependency和NarrowDependency面向stage的切分，切分依据为宽依赖维护waiting jobs和active job...
分类：
其他好文 时间：
2015-03-20 18:37:34
阅读次数：
3996
当某个task完成后，某个shuffle Stage X可能已完成，那么就可能会一些仅依赖Stage X的Stage现在可以执行了，所以要有响应task完成的状态更新流程。=======================DAG task完成后的更新流程===================->Coar...
分类：
其他好文 时间：
2015-01-25 23:53:57
阅读次数：
281
在前面的sparkContex和RDD都可以看到，真正的计算工作都是同过调用DAGScheduler的runjob方法来实现的。这是一个很重要的类。在看这个类实现之前，需要对actor模式有一点了解：http://en.wikipedia.org/wiki/Actor_modelhttp://www...
分类：
其他好文 时间：
2015-01-24 00:26:17
阅读次数：
455
spark内核揭秘-07-DAGScheduler源码解读初体验
spark内核揭秘-07-DAGScheduler源码解读初体验
spark内核揭秘-07-DAGScheduler源码解读初体验
spark内核揭秘-07-DAGScheduler源码解读初体验...
分类：
其他好文 时间：
2015-01-19 20:59:01
阅读次数：
180
