一、前言 在分析完了JUC的锁和集合框架后，下面进入JUC线程池框架的分析，下面给出JUC线程池的总体框架，之后再逐一进行分析。 二、JUC线程池框架图 说明：从上图可知，JUC线程池框架中的其他接口或类都直接或间接的继承了Executor接口，虽然Executors与其他类或者接口没有明显的关系， ...
分类：
编程语言 时间：
2016-06-01 19:54:56
阅读次数：
415
原因：默认情况下每个节点分配的执行内存为1G解决办法：方法一：valconf=newSparkConf().setAppName("appname").set("spark.executor.memory","6g")方法二：修改spark-env.sh添加：exportSPARK_EXECUTOR_MEMORY=8G
分类：
编程语言 时间：
2016-06-01 06:56:28
阅读次数：
1083
当向Executor提交批处理任务时，并且希望在它们完成后获得结果，如果用FutureTask，你可以循环获取task，并用 future.get()去获取结果，但是如果这个task没有完成，你就得阻塞在这里，这个实效性不高，其实在很多场合，其实你拿第一个任务结果时，此 时结果并没有生成并阻塞，其实在阻塞在第一个任务时，第二个task的任务已经早就完成了，显然这种情况用future task不合适...
分类：
其他好文 时间：
2016-05-30 15:15:51
阅读次数：
108
一、Spark Streaming 数据安全性的考虑：Spark Streaming不断的接收数据，并且不断的产生Job，不断的提交Job给集群运行。所以这就涉及到一个非常重要的问题数据安全性。Spark Streaming是基于Spark Core之上的，如果能够确保数据安全可好的话，在Spark... ...
分类：
其他好文 时间：
2016-05-28 23:16:36
阅读次数：
241
本篇博文的目标是
1. Executor的WAL机制详解
2. 消息重放Kafka数据安全性的考虑：
Spark Streaming不断的接收数据，并且不断的产生Job，不断的提交Job给集群运行。所以这就涉及到一个非常重要的问题数据安全性。
Spark Streaming是基于Spark Core之上的，如果能够确保数据安全可好的话，在Spark Streaming生成Job的时候里面是基...
分类：
其他好文 时间：
2016-05-27 12:19:58
阅读次数：
233
前言: Spark Application的运行架构由两部分组成:driver program(SparkContext)和executor。Spark Application一般都是在集群中运行，比如Spark Standalone,YARN,mesos,这些集群给spark Applicatio ...
分类：
其他好文 时间：
2016-05-26 10:09:06
阅读次数：
135
本期内容 : Executor的WAL 消息重放 数据安全的角度来考虑整个Spark Streaming ： 1、 Spark Streaming会不断次序的接收数据并不断的产生Job ，不断的提交Job到集群运行，至关重要的问题接收数据安全性 2、 由于Spark Streaming是基于Spar ...
分类：
其他好文 时间：
2016-05-24 20:38:23
阅读次数：
175
本篇博文的目标是：
Driver的ReceiverTracker接收到数据之后，下一步对数据是如何进行管理一：ReceiverTracker的架构设计
1. Driver在Executor启动Receiver方式，每个Receiver都封装成一个Task，此时一个Job中就一个Task,而Task中就一条数据，也就是Receiver数据。由此，多少个Job也就可以启动多少个Receiver....
分类：
其他好文 时间：
2016-05-24 10:27:41
阅读次数：
308
本期内容：1、Executor的WAL容错机制2、消息重放Executor的安全容错主要是数据的安全容错，那为什么不考虑数据计算的安全容错呢？原因是计算的时候SparkStreaming是借助于SparkCore上RDD的安全容错的，所以天然的安全可靠的。Executor的安全容错主要有：1、数据副本：有两种方..
分类：
其他好文 时间：
2016-05-23 19:25:31
阅读次数：
207
Receiver接收到的数据交由ReceiverSupervisorImpl来管理。ReceiverSupervisorImpl接收到数据后，会数据存储并且将数据的元数据报告给ReceiverTracker。Executor的数据容错可以有三种方式：WAL日志数据副本接收receiver的数据流回放/**Storeblockandreportittodriver*/
defpushA..
分类：
其他好文 时间：
2016-05-23 01:17:31
阅读次数：
208
