对于ResultTask，直接执行func操作，最后告知任务是否执行完成；而对于ShuffleMapTask，则需要将中间结果存储到实例化DirectTaskResult，以备下一个task使用，同时还要返回实例化的MapStatus。 Executor.run中，当Task执行完毕调用execBa...
分类：
Web程序 时间：
2015-07-26 22:36:49
阅读次数：
203
前面说到向executorActor(task.executorID)发送LaunchTask(task)消息，在CoarseGrainedExecutorBackend中定义receive接收launchTask消息，执行executor.launchTaskoverride def receiv...
分类：
Web程序 时间：
2015-07-26 22:35:58
阅读次数：
342
Executor框架为了更方便使用，提供了Executors这个工厂类，通过一系列的静态工厂方法，可以快速地创建相应的Executor实例。
只有一个nThreads参数的newFixedThreadPool方法会创建一个ThreadPoolExecutor，corePoolSize和maximumPoolSize都是nThreads，并且keepAliveTime为0表示不会设置过期时...
分类：
编程语言 时间：
2015-07-22 18:59:17
阅读次数：
156
引言上一小节《任务执行机制和Task源码浅析1》介绍了Executor的注册过程。
这一小节，我将从Executor端，就接收LaunchTask消息之后Executor的执行任务过程进行介绍。1. Executor的launchTasks函数DriverActor提交任务，发送LaunchTask指令给CoarseGrainedExecutorBackend，接收到指令之后，让它内部的execu...
分类：
其他好文 时间：
2015-07-20 23:38:59
阅读次数：
175
引言上一小节《TaskScheduler源码与任务提交原理浅析2》介绍了Driver侧将Stage进行划分，根据Executor闲置情况分发任务，最终通过DriverActor向executorActor发送任务消息。
我们要了解Executor的执行机制首先要了解Executor在Driver侧的注册过程，这篇文章先了解一下Application和Executor的注册过程。1. Task类及其...
分类：
其他好文 时间：
2015-07-20 23:38:48
阅读次数：
174
这篇接着说ExecutorService相关内容。聊聊高并发（三十九）解析java.util.concurrent各个组件（十五） 理解ExecutorService接口的设计这篇说了ExecutorService接口扩展了Executor接口，在执行任务的基础上，提供了执行框架生命周期的管理，任务的异步执行，批量任务的执行的能力。AbstractExecutorService抽象类实现了Exec...
分类：
编程语言 时间：
2015-07-17 19:06:41
阅读次数：
172
1.java.util.Executor 接口只有一个方法 void execute(Runnablecommand)：在未来某个时间执行给定的命令。该命令可能在新的线程、已入池的线程或者正调用的线程中执行，这由 Executor 实现决定。2.java.util.Executors类public ...
分类：
编程语言 时间：
2015-07-17 09:29:40
阅读次数：
136
1 package Thread; 2 3 import org.junit.Test; 4 5 import java.util.concurrent.Executor; 6 import java.util.concurrent.Executors; 7 import java.util....
分类：
其他好文 时间：
2015-07-16 00:37:13
阅读次数：
110
Java SE5的java.util.concurrent包中的执行器（Executor）用来管理Thread对象，从而简化并发编程。关灯线程：public class LiftOffThread implements Runnable { protected int countDown = 10;
private static int taskCount = 0;
priva...
分类：
编程语言 时间：
2015-07-10 19:06:49
阅读次数：
119
azkaban支持shell、java、mapreduce以及hive的工作流调度，在对这些不同类型任务调度之前需要配置所对应的插件；azkaban整体分为两部分azkaban executor server(负责任务调度的处理)、azkaban web server（提供web ui可视化操作）；
目前采用的版本插件均为2.5.0 完整包下载
1、编译
azk...
分类：
其他好文 时间：
2015-07-10 15:18:04
阅读次数：
558
