上图是一个job的提交流程图，job提交的具体步骤如下一旦有action，就会触发DagScheduler.runJob来提交任务，主要是先生成逻辑执行图DAG，然后调用finalStage=newStage()来划分stage。newStage()的时候会调用finalRDD的getParentStages()；getParentStages()从finalRDD出发，反向visit逻辑执行图，
分类：
其他好文 时间：
2019-04-22 23:07:59
阅读次数：
335
一：任务调度和资源调度的区别: 任务调度是指通过DAGScheduler，TaskScheduler，SchedulerBackend完成的job的调度 资源调度是指应用程序获取资源的调度，他是通过schedule方法完成的 二：资源调度解密 因为master负责资源管理和调度，所以资源调度的方法s ...
分类：
其他好文 时间：
2018-11-15 23:39:36
阅读次数：
252
0. 说明 官方文档 Job Scheduling Spark 调度核心组件: 1. DagScheduler direct acycle graph , 有向无环图调度器 高级调度器，面向的是 stage ，为每个 job 计算 stage 的 DAG 图，跟踪 RDD 和 stage 的输出，找 ...
分类：
其他好文 时间：
2018-10-26 00:43:30
阅读次数：
147
上篇中已经分析了DAGscheduler的监听机制，以及job的划分，这次我们再来看一看stage是如何划分以及stage的最终提交； 当jobsubmit 加入到DAGscheduler的event队列中的时候， 就会将job的stage划分为resultstage 和 shufflestage， ...
分类：
其他好文 时间：
2018-10-11 13:39:28
阅读次数：
121
本文主要讲述spark中的基本概念，包括Application、Job、Stage、Task、ClusterManger、Executor、Driver、DAGScheduler、TaskScheduler等。
分类：
其他好文 时间：
2018-08-26 01:13:42
阅读次数：
140
DAGScheduler stage 划分算法 stage划分算法很重要，对于spark开发人员来说，必须对stage划分算法很清晰，知道自己编写的spark Application被划分成了几个job，每个job被划分成了几个stage，每个stage包括哪些代码，这样当发现哪个stage报错或者 ...
分类：
编程语言 时间：
2018-08-22 17:03:21
阅读次数：
185
在写Spark程序是遇到问题 Driver stacktrace: at org.apache.spark.scheduler.DAGScheduler.orgapacheapachesparkschedulerschedulerDAGScheduler$$failJobAndIndependent ...
分类：
Web程序 时间：
2018-08-06 23:23:20
阅读次数：
2886
RDD运行原理 1.创建 RDD 对象 2.DAGScheduler模块介入运算，计算RDD之间的依赖关系。RDD之间的依赖关系就形成了DAG 3.每一个JOB被分为多个Stage，划分Stage的一个主要依据是当前计算因子的输入是否是确定的，如果是则将其分在同一个Stage，避免多个Stage之间 ...
分类：
其他好文 时间：
2018-08-02 16:02:35
阅读次数：
148
6.创建和启动DAGScheduler DAGScheduler主要用于在任务正式交给TaskSchedulerImpl提交之前做一些准备工作，包括：创建Job，将DAG中的RDD划分到不同的Stage，提交Stage，等等。创建DAGScheduler的代码如下： DAGScheduler的数据结 ...
分类：
其他好文 时间：
2018-07-15 23:21:58
阅读次数：
193
shuffle概览 shuffle过程概览 shuffle数据流概览 shuffle数据流 shuffle工作流程 在运行job时，spark是一个stage一个stage执行的。先把任务分成stage，在任务提交阶段会把任务形成taskset，在执行任务。 spark的DAGScheduler根据 ...
分类：
其他好文 时间：
2018-06-26 00:54:48
阅读次数：
211
