SPARK执行流程

标签：模块   src   img   分享图片   一个   输入   tps   logs   com   

RDD运行原理

1.创建 RDD 对象
2.DAGScheduler模块介入运算，计算RDD之间的依赖关系。RDD之间的依赖关系就形成了DAG
3.每一个JOB被分为多个Stage，划分Stage的一个主要依据是当前计算因子的输入是否是确定的，如果是则将其分在同一个Stage，避免多个Stage之间的消息传递开销。

https://www.cnblogs.com/tgzhu/p/5818374.html

SPARK执行流程

标签：模块   src   img   分享图片   一个   输入   tps   logs   com   

原文地址：https://www.cnblogs.com/playforever/p/9407335.html