在Java5之后，并发线程这块发生了根本的变化，最重要的莫过于新的启动、调度、管理线程的一大堆API了。在Java5以后，通过Executor来启动线程比用Thread的start()更好。在新特征中，可以很容易控制线程的启动、执行和关闭过程，还可以很容易使用线程池的特性。 一、创建任务 任务就是一 ...
分类：
其他好文 时间：
2016-08-01 20:56:24
阅读次数：
368
1、Driver：运行 Application 的 main() 函数并且创建 SparkContext。 2、Client：用户提交作业的客户端。 3、Worker：集群中任何可以运行 Application 代码的节点，运行一个或多个 Executor进程。 4、Executor ：运行在 Wo ...
分类：
Web程序 时间：
2016-07-29 16:33:53
阅读次数：
210
本章要点： Runnable表述一个可以异步执行的任务 Executor将Runnable实例列入执行计划 Callable描述一个会产生结果的任务 可以向ExecutorService提交一个或多个Callable实例，并且当这些Callable有执行结果后，合并这些结果 当多个线程在没有同步的情 ...
分类：
编程语言 时间：
2016-07-28 14:58:27
阅读次数：
147
2. SchedulerBackend SchedulerBackend是一个trait，主要的功能是向当前等待分配计算资源的Task分配计算资源Executor，并且在分配的Executor上启动Task，完成计算的调度过程。上述任务调度是通过方法def reviveOffers(): Unit实 ...
分类：
其他好文 时间：
2016-07-19 18:24:58
阅读次数：
156
在如今的程序里，单线程的程序，应该已经比较少了，而Java语言是内置支持多线程并发的。本文介绍了JDK 1.5之后提供的concurrent包内提供的任务接口Callable接口和Future接口，Java的concurrent包提供的Executor执行器接口以及Executor具体应用线程池。介绍了Java内置4种线程池的异同以及主要使用方法。...
分类：
编程语言 时间：
2016-07-16 16:05:01
阅读次数：
275
1.线程池 1.1什么情况下使用线程池
单个任务处理的时间比较短.
将需处理的任务的数量大.
1.2使用线程池的好处
减少在创建和销毁线程上所花的时间以及系统资源的开销.
如果不使用线程池,有可能造成系统创建大量线程而导致消耗系统内存以及”过度切换”;
2.ExecutorService和Executors2.1简介ExecutorService是一个接口,继承了Executor,public i...
分类：
编程语言 时间：
2016-07-13 17:42:37
阅读次数：
214
The Mesos API Mesos messages The scheduler API The SchedulerDriver API The executor API The ExecutorDriver API Developing a Mesos framework Setting up ...
分类：
Web程序 时间：
2016-07-10 18:10:53
阅读次数：
134
本文尝试从源码层面梳理Spark在任务调度与资源分配上的做法。 先从Executor和SchedulerBackend说起。Executor是真正执行任务的进程，本身拥有若干cpu和内存，可以执行以线程为单位的计算任务，它是资源管理系统能够给予的最小单位。SchedulerBackend是spark ...
分类：
其他好文 时间：
2016-07-08 15:00:43
阅读次数：
155
Tomcat配置优化一、Tomcat并发线程优化编辑tomcat目录下conf/server.xml文件修改添加<Executor name="tomcatThreadPool" namePrefix="catalina-exec-"maxThreads="10000" minSpareThreads="1000"/> <Connector executor="tomcatThreadPool"port="8080" protocol="HT..
分类：
其他好文 时间：
2016-07-07 19:58:23
阅读次数：
298
java.util.concurrent.Executors Factory and utility methods for Executor, ExecutorService, ScheduledExecutorService, ThreadFactory, and Callable classe ...
分类：
其他好文 时间：
2016-07-02 18:49:28
阅读次数：
158
