本期内容：1、ReceiverTracker的架构设计2、消息循环系统3、ReceiverTracker具体实现上节课讲到了Receiver是如何不断的接收数据的，并且接收到的数据的元数据会汇报给ReceiverTracker，下面我们看看ReceiverTracker具体的功能及实现。ReceiverTracker主要的功能：在Executor上..
分类：
其他好文 时间：
2016-05-23 01:03:11
阅读次数：
161
上节课将到了Receiver是如何不断的接收数据的，并且接收到的数据的元数据会汇报给ReceiverTracker，下面我们看看ReceiverTracker具体的功能及实现。一、ReceiverTracker主要的功能：在Executor上启动Receivers。停止Receivers。更新Receiver接收数据的速率(也就是限流)不断的等..
分类：
其他好文 时间：
2016-05-19 13:26:17
阅读次数：
144
Strom并发模型： topology是如何运行的？（可与mapreduce对比） 第一层：cluster 第二层：supervisor（host、node、机器） 第三层：worker（进程） 第四层：executor(线程) 第五层：task（线程的一个个对象、如Spout和Blot）//top... ...
分类：
其他好文 时间：
2016-05-18 23:44:39
阅读次数：
232
1.在Java 5之后，并发编程引入了一堆新的启动、调度和管理线程的API。Executor框架便是Java
5中引入的，其内部使用了线程池机制，它在java.util.cocurrent 包下，通过该框架来控制线程的启动、执行和关闭，可以简化并发编程的操作。因此，在Java 5之后，通过Executor来启动线程比使用Thread的start方法更好，除了更易管理，效率更好（用线程池实现，节...
分类：
其他好文 时间：
2016-05-18 19:40:43
阅读次数：
402
Executor接口
public interface Executor {
void execute(Runnable command);
}
Executor接口中之定义了一个方法execute（Runnable command），该方法接收一个Runable实例，它用来执行一个任务，任务即一个实现了Runnable接口的类。
在Jav...
分类：
编程语言 时间：
2016-05-18 19:39:32
阅读次数：
226
1、 Spark运行架构
1.1 术语定义
lApplication：Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码；
lDriver：Spark中的Driver即运行上述Application的main()函数并且创建SparkCon...
分类：
其他好文 时间：
2016-05-18 19:19:01
阅读次数：
239
零. 简介
Executors 是 Executor、ExecutorService、ThreadFactory、Callable 类的工厂和工具方法。
一. 源码解析
创建一个固定大小的线程池：通过重用共享无界队列里的线程来减少线程创建的开销。当所有的线程都在执行任务，新增的任务将会在队列中等待，直到一个线程空闲。由于在执行前失败导致的线程中断，如果...
分类：
编程语言 时间：
2016-05-18 18:48:12
阅读次数：
269
1.Excutor 源码非常简单，只有一个execute（Runnable command）回调接口 public interface Executor { /** * Executes the given command at some time in the future. The comman ...
分类：
编程语言 时间：
2016-05-13 14:34:19
阅读次数：
153
一，Java的Executor框架
1，Executor接口
public interface Executor {
void execute(Runnable command);
}Executor接口是Executor框架中最基础的部分，定义了一个用于执行Runnable的execute方法，它没有实现类只有另一个重要的子接口ExecutorService
2，Exe...
分类：
编程语言 时间：
2016-05-12 20:38:49
阅读次数：
251
SparkContext创建：高层DAGScheduler, 底层TaskScheduler, SchedulerBackend
application=driver+executor
Spark的程序分成两个部分：driver和executor
driver驱动executor
Driver部分的源代码：SparkConf+SparkContext
executor具体执行...
分类：
其他好文 时间：
2016-05-12 12:43:38
阅读次数：
172
