码迷,mamicode.com
首页 > 其他好文 > 详细

SparkLauncher流程记录(spark-2.2.0)

时间:2018-01-31 14:30:10      阅读:339      评论:0      收藏:0      [点我收藏+]

标签:list   park   run   分享图片   mon   creat   image   blog   src   

这里记录一下LauncherBackend和LauncherServer的通信流程

流程图

技术分享图片

流程说明


    SparkLauncher 在startApplication方法里通过createBuilder方法调用spark-submit脚本,同时启动LauncherServer服务,用于接收LauncherBackend的消息
    通过把固定的环境变量通告出去,通知LauncherBackend启动连接LauncherServer。

    spark-submit 脚本调用SparkSubmit,SparkSubmit调用org.apache.spark.deploy.yarn.Client 来提交任务到yarn上。

    yarn.Client 在 submitApplication中启动LauncherBackend 来连接LauncherServer。
    并且在run方法中通过monitorApplication 中来检查app的状态变化,然后通过launcherBackend 把状态变化通知到 launcherServer上

    LauncherServer收到通知后会调用用户提供的listener

    更多细节参考Launcher其他记录

SparkLauncher流程记录(spark-2.2.0)

标签:list   park   run   分享图片   mon   creat   image   blog   src   

原文地址:https://www.cnblogs.com/cloud-zhao/p/8391376.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!