码迷,mamicode.com
首页 > 其他好文 > 详细

Spark on Mesos: 粗粒度与细粒度实现分析 (markdown排版)

时间:2015-02-15 16:39:01      阅读:641      评论:0      收藏:0      [点我收藏+]

标签:资源管理   mesos   spark   

背景

顺着昨天spark standalone实现那篇文章继续扯淡,看看Mesos Scheduler的两种实现的异同。
对我来说,回过头再仔细看Spark在这一层的实现,思路又清晰了许多。

Mesos粗粒度

CoarseMesosSchedulerBackend,是mesos的粗粒度scheduler backend实现。

简单说一下mesos的Scheduler,提供的回调函数,及spark实现的逻辑:

Mesos Scheduler接口 触发场景 spark实现逻辑
void registered(SchedulerDriver driver, FrameworkID frameworkId, MasterInfo masterInfo); 当Scheduler成向mesos master注册之后回调,会返回唯一的framework id 得到framework的id,作为appId
void reregistered(SchedulerDriver driver, MasterInfo masterInfo) 是mesos换了个新选举出来的master的时候触发,前提是该scheduler之前已经注册过了 没有实现。
void resourceOffers(SchedulerDriver driver, List[Offer] offers) mesos提供了一批可用的资源,让scheduler可以使用或拒绝这些资源。每个Offer是以slave为单位的,即以slave为单位的资源列表。 得到mesos的Offers列表,只要已经启动的executor还不足够,那么从资源列表里继续获取资源,启动CoarseGrainedExecutorBackend。
void offerRescinded(SchedulerDriver driver, OfferID offerId) 当请求的offer不可用时回调(可能是slave lost了之类的原因导致的),如果在这上面继续起task的话会报Task Lost的状态。 没有实现。spark在task scheduler层面对lost的task有自己的处理。
void statusUpdate(SchedulerDriver driver, TaskStatus status) task状态更新回调,可能是finish了,可能是lost了,可能是fail了等等 得到finished、failed、lost等task状态,更新内存里维护的task状态,并触发新一轮的reviveOffers,即通过task scheduler继续把resource分配给需要的task并执行它们。
void frameworkMessage(SchedulerDriver driver, ExecutorID executorId, SlaveID slaveId, byte[] data) 用于接收executor主动发的消息 没有实现。mesos虽然在内部提供了这种msg接口,貌似不是很稳定。使用方可以使用自己的RPC来做executor与scheduler的通信,如果真的需要的话。
void disconnected(SchedulerDriver driver) 当scheduler与master断开的时候触发,原因可能是master挂了,或者master换了等等。 没有实现。spark前面就没有实现master新选举的接口。
void slaveLost(SchedulerDriver driver, SlaveID slaveId) 通知某个slave lost了,以便framework进行任务的rescheduler或其他逻辑 spark把slave lost和executor lost一起处理了。处理逻辑就是执行RemoveExecutor操作,最终调用TaskScheduler的executorLost方法,把executor的状态移除,并且会继续向上调用DAGScheduler的handleExecutorLost方法。因executor lost可能会影响到shuffle数据,这部分还需要BlockManager感知。
void executorLost(SchedulerDriver driver, ExecutorID executorId, SlaveID slaveId, int status) 通知某个slave上的executor挂了 同上
void error(SchedulerDriver driver, String message) scheduler或scheduler driver发送错误触发 没有实现

另一方面,要说明一下mesos的SchedulerDriver

它相当于是Scheduler与mesos通信的一个连接人,一方面是管理Scheduler的生命周期,二方面是与mesos交互,让它启停task。
在初始化SchedulerDriver的时候,向里面传入spark自己实现的Scheduler就可以了,即CoarseMesosSchedulerBackend或MesosSchedulerBackend。在每个mesos的Scheduler接口的回调方法里,都会传回SchedulerDriver,以对应可以进行scheduler的启停和task的启停管理。

CoarseMesosSchedulerBackend内部主要维护的信息为:

  • slave与executor的对应关系
  • executor与task的对应关系
  • task与slave的对应关系

Mesos细粒度

翻译下注释:

细粒度模式下,允许多个app共享nodes,包括空间,即不同app的tasks可以跑同几个core,和时间,即一个core可以切换ownership。
这块共享的控制,在mesos端,所以spark在实现的时候,其实差别和难度都不大。

MesosSchedulerBackend的实现

  • 在resourceOffers逻辑里,获得mesos提供的slave资源后,直接在里面调用scheduler的resourceOffers,即TaskSchedulerImpl的分配task的逻辑。也就是说,会按优先级,从active
    task sets(来自多个app)里选择并直接launch
    task。而粗粒度里的做法,是先启动executorbackend,把资源准备好,进程先拉起,供app去launch task。
  • 其他回调接口的逻辑是大同小异的。

还有一点不同之处,粗粒度模式下executor的实现使用的是与standalone模式相同的CoarseGrainedExecutorBackend。在细粒度模式下,executor的实现是MesosExecutorBackend,实现了spark的ExecutorBackend和mesos的MesosExecutor。实际上,在类里面,还是使用的spark的executor,在对应的回调里执行start/kill task这样的操作。另外,mesos的ExecutorDriver用于负责与mesos通信,比如传递一些状态更新的消息,或有特殊的msg要发送。executor这块的差别无关紧要。


在我看来,executor这块最终一定是落到了spark的executor上,里面有一个线程池,可以跑spark的ShuffleMapTask或ResultTask。而mesos粗、细粒度的Scheduler实现,最大区别在于resourceOffers的逻辑,是怎么处理分配的进程资源:粗粒度是预先拉起执行进程,而细粒度是直接通过TaskScheduler来摆放执行线程了。

粗细粒度分别适合跑什么样的任务,可以具体见官方文档这一节

全文完 :)

Spark on Mesos: 粗粒度与细粒度实现分析 (markdown排版)

标签:资源管理   mesos   spark   

原文地址:http://blog.csdn.net/pelick/article/details/43835435

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!