Fork/Join框架是Java7中最有趣的特征之一。它是Executor和ExecutorService接口的一个实现，允许你执行Callable和Runnable任务而不用管理这些执行线程。这个执行者面向执行能被拆分成更小部分的任务。主要组件如下： 一个特殊任务，实现ForkJoinTask类 ...
分类：
编程语言 时间：
2016-05-10 11:05:17
阅读次数：
180
本讲内容：a. 在线动态计算分类最热门商品案例回顾与演示
b. 基于案例贯通Spark Streaming的运行源码注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上节课主要从事务视角为大家探索Spark Streaming架构机制；Spark Streaming程序分成而部分，一部分是Driver，另外一部分是Executor。通过对Driv...
分类：
其他好文 时间：
2016-05-09 07:00:05
阅读次数：
154
本讲内容：a. Exactly Once
b. 输出不重复注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾:上节课通过案例透视了Spark Streaming Job架构和运行机，并结合源码进行了详细解说；同时也了解了Spark Streaming Job的容错机制，包括 Executor 与 Driver两方面的容错机制。也就是说Job的事务处...
分类：
其他好文 时间：
2016-05-09 01:45:38
阅读次数：
158
如果你向Executor提交了一个批处理任务，并且希望在它们完成后获得结果,怎么办呢？ 为此你可以保存与每个任务相关联的Future，然后不断地调用 timeout为零的get，来检验Future是否完成。这样做固然可以，但却相当乏味。幸运的是，还有一个更好的方法：完成服务 (Completion ...
分类：
编程语言 时间：
2016-05-05 22:32:39
阅读次数：
346
本期主要介绍下spark的内核架构。spark的应用程序总体来说，主要包括两部分，一部分是Driver,其包括了SparkConf和SparkContext，另一部分就是Executor，运行具体的业务逻辑。应用程序的提交有两种方式，1、Driver进程运行在客户端，对应用程序进行监控。2、主节点指定某个worke..
分类：
其他好文 时间：
2016-05-03 00:44:01
阅读次数：
142
前置内容：Callable、Future、FutureTask
Executor子类的execute方法接收一个Runnable作为参数，会在新线程中执行Runnable中的任务，ScheduledthreadPollExecutor也可以submit任务，参数可以是Runnable或者Callable。Callable可以理解为待返回值的Runnable。FutureT...
分类：
其他好文 时间：
2016-04-29 15:34:47
阅读次数：
124
线程池：
一个线程池中会缓存一定数量的线程，通过线程池就可以避免因为频繁创建和销毁线程所带来的系统开销。Android中的线程池来源于Java,主要是通过Executor来派生特定类型的线程池。
优点： ...
分类：
移动开发 时间：
2016-04-29 15:19:21
阅读次数：
135
AsyncTask 的构造函数 在构造函数中，实例化了两个变量 mWorker 就是一个 Callable 的实现类。 mFuture 需要看一下 FutureTask 的源码。 下面看最主要的方法： 该方法调用了下面的方法： executeOnExecutor 方法可以指定 Executor 来执 ...
分类：
其他好文 时间：
2016-04-29 14:05:42
阅读次数：
176
Executor框架分离了任务的创建和执行。JAVA SE5的java.util.concurrent包中的执行器（Executor）管理Thread对象，从而简化了并发编程。Executor引入了一些功能类来管理和使用线程Thread，其中包括线程 池，Executor，Executors，Exe ...
分类：
编程语言 时间：
2016-04-26 17:27:22
阅读次数：
361
1、内存 spark.storage.memoryFraction：很明显，是指spark缓存的大小，默认比例0.6 spark.shuffle.memoryFraction：管理executor中RDD和运行任务时的用于对象创建内存比例，默认0.2 关于这两个参数的设置，常见的一个场景就是操作关系 ...
分类：
其他好文 时间：
2016-04-25 00:44:56
阅读次数：
136
