spark stage

标签：一个   运行   task   scheduler   end   关系   taskset   模式   包含   

stage概念

Spark任务会根据RDD之间的依赖关系，形成一个DAG有向无环图，DAG会提交给DAGScheduler，DAGScheduler会把DAG划分相互依赖的多个stage，划分stage的依据就是RDD之间的宽窄依赖。遇到宽依赖就划分stage,每个stage包含一个或多个task任务。然后将这些task以taskSet的形式提交给TaskScheduler运行。stage是由一组并行的task组成

stage切割规则

从后往前，遇到宽依赖就切割stage

stage计算模式

pipeline:是一种计算模式，即管道计算模式

pipeline管道计算模式应用于stage的内部，task在完成RDD之间数据的传递是在内存传输的，而且是一条一条的传输， stage与stage之间会发生落地磁盘

spark stage

标签：一个   运行   task   scheduler   end   关系   taskset   模式   包含   

原文地址：https://www.cnblogs.com/xiangyuguan/p/11221833.html