码迷,mamicode.com
首页 > 其他好文 > 详细

.Spark基于Standalone提交任务两种方式

时间:2019-07-21 18:31:56      阅读:107      评论:0      收藏:0      [点我收藏+]

标签:cat   block   mini   executor   end   cad   oca   one   ade   

  • Standalone-client模式:

1、client模式提交任务后,会在客户端启动Driver进程
2、Driver会向Master申请启动Application启动的资源
3、资源申请成功,Driver端将task发送到worker端执行
4、worker将task执行结果返回到Driver端
技术图片

 

 

技术图片

  • Standalone-master模式:

1、cluster模式提交应用程序后,会向Master请求启动Driver.(而不是启动application)
2、Master接受请求,随机在集群一台节点启动Driver进程
3、Driver启动后为当前的应用程序申请资源。Master返回资源,并在对应的worker节点上发送消息启动Worker中的executor进程
4、Driver端发送task到worker节点上执行
5、worker将执行情况和执行结果返回给Driver端。Driver监控task任务,并回收结果

技术图片

 

 

技术图片

.Spark基于Standalone提交任务两种方式

标签:cat   block   mini   executor   end   cad   oca   one   ade   

原文地址:https://www.cnblogs.com/xiangyuguan/p/11221939.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!