摘要spark的调度一直是我想搞清楚的东西，以及有向无环图的生成过程、task的调度、rdd的延迟执行是怎么发生的和如何完成的，还要就是RDD的compute都是在executor的哪个阶段调用和执行我们定义的函数的。这些都非常的基础和困难。花一段时间终于弄白了其中的奥秘。总结起来，以便以后继续完善。spark的调度分为两级调度：DAGSchedule和TaskSchedule。DAGSchedule是根据job来生成相互依赖的stages，然后把stages以TaskSet形式传递给TaskSchedule来进行任务的分发过程，里面的细节会慢慢的讲解出来的，比较长
分类：
其他好文 时间：
2018-03-26 17:24:25
阅读次数：
202
在上文《Spark技术内幕：Stage划分及提交源代码分析》中，我们分析了Stage的生成和提交。可是Stage的提交，仅仅是DAGScheduler完毕了对DAG的划分，生成了一个计算拓扑，即须要依照顺序计算的Stage，Stage中包括了能够以partition为单位并行计算的Task。我们并没 ...
分类：
其他好文 时间：
2018-03-19 13:45:10
阅读次数：
270
spark streaming task 序列化源码 1.入口 2.RDD.scala foreachPartition 代码逻辑 3.SparkContext runJob 代码逻辑 4.DAGScheduler runJob 代码逻辑 5.DAGSchedulerEventProcessLoop ...
分类：
其他好文 时间：
2018-03-08 18:06:11
阅读次数：
181
一个job的生命历程 dagScheduler.runJob //（1） --> submitJob ( eventProcessLoop.post(JobSubmitted,***) //（2） --> eventProcessLoop //（3） --> onReceive(event: DAG ...
分类：
其他好文 时间：
2018-01-21 01:06:43
阅读次数：
161
TaskScheduler 原理： 1. DAGScheduler 在提交Taskset给底层调度器的时候是面向接口TaskScheduler的， 这符合面向对象中依赖抽象原则，带来底层资源调度器的可插拔性， 导致Spark可以运行在众多的资源高度器模式上。例如： Standalone, Yarn, ...
分类：
其他好文 时间：
2017-12-24 20:10:34
阅读次数：
147
要点: 代码针对于 spark 1.6.1源码 1, TaskScheduler如何注册application, executor如何反注册 2, DAGScheduler 3, spark UI 一、SparkConf概述 SparkContext需要传入SparkConf来进行初始化，Spark ...
分类：
其他好文 时间：
2017-12-17 23:42:12
阅读次数：
172
submitjob：：做了什么 1含有dagScheduler的runJob函数的runJob是入口，并且是堵塞的操作,即直到Spark完成Job的运行之前,rdd.doCheckpoint()是不会执行的。堵塞在3的waiter.awaitResult()操作,即submitJob会返回一个wai ...
分类：
其他好文 时间：
2017-10-07 20:38:26
阅读次数：
172
Spark Runtime里的主要层次分析，梳理Runtime组件和运行流程， DAGScheduler Job=多个stage，Stage=多个同种task, Task分为ShuffleMapTask和ResultTask，Dependency分为ShuffleDependency和NarrowD ...
分类：
其他好文 时间：
2017-08-13 14:20:03
阅读次数：
240
1、sc.runJob -> dagScheduler.runJob -> submitJob 2、DAGSchedueler::submitJob 会创建 JobSubmitted 的 event 发给内嵌类 eventProcessActor 3、eventPRocessActor 在接收到 J ...
分类：
其他好文 时间：
2017-08-01 12:53:15
阅读次数：
171
引言 上一节《TaskScheduler源代码与任务提交原理浅析1》介绍了TaskScheduler的创建过程，在这一节中，我将承接《Stage生成和Stage源代码浅析》中的submitMissingTasks函数继续介绍task的创建和分发工作。 DAGScheduler中的submitMiss ...
分类：
其他好文 时间：
2017-07-21 13:22:58
阅读次数：
199
