Spark的Job的划分

标签：cat   park   shuf   task   ica   stage   就会   多个   创建   

Job的划分

1、Application :

　　应用，创建一个SparkContext可以认为创建了一个Application

2、Job

　　在一个app中每执行一次行动算子 就会创建一个Job,一个application会有多个job

3、stage

　　阶段，每碰到一个shuffle算子，会产生一个新的stage，一个Job中可以包含多个stage

4、task

　　任务，表示阶段执行的时候的并行度，一个stage会有多个task

Spark的Job的划分

标签：cat   park   shuf   task   ica   stage   就会   多个   创建   

原文地址：https://www.cnblogs.com/atBruce/p/12872707.html