spark内核揭秘-13-Worker中Executor启动过程源码分析

标签：worker   launchexecutor   executorrunner   fetchandrunexecutor   executoradded   

进入Worker类源码：

可以看出Worker本身是Akka中的一个Actor。

进入Worker类的LaunchExecutor：

从源代码可以看出Worker节点上要分配CPU和Memory给新的Executor，首先需要创建一个ExecutorRunner：

ExecutorRunner是用于维护executor进程的：

1、进入ExecutorRunner 的start方法：

1.1、进入fetchAndRunExecutor()方法（核心方法）：

2、进入 master ! ExecutorStateChanged(appId, execId, manager.state, None, None)方法：

发送消息给Master：

我们再回到到launchExecutor方法：

进入ExecutorAdded方法：

上面代码利用Akka 发送ExecutorStateChanged方法给Master

进入 Master 的ExecutorStateChanged方法：

PS:感觉代码分析的有点乱，不是很理想，希望大家知道，谢谢

spark内核揭秘-13-Worker中Executor启动过程源码分析

标签：worker   launchexecutor   executorrunner   fetchandrunexecutor   executoradded   

原文地址：http://blog.csdn.net/stark_summer/article/details/42975383