本讲内容：a. DStream与RDD关系的彻底的研究
b. Streaming中RDD的生成彻底研究注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上节课，我们重点给大家揭秘了JobScheduler内幕；可以说JobScheduler是整个Spark Streming的调度的核心，其地位相当于Spark Core中的DAGScheduler...
分类：
其他好文 时间：
2016-05-27 11:47:20
阅读次数：
131
本期内容： 1，JobScheduler内幕实现 2，JobScheduler深度思考 摘要：JobScheduler是Spark Streaming整个调度的核心，其地位相当于Spark Core上的调度中心中的DAGScheduler！ 一、JobScheduler内幕实现 问：JobSched ...
分类：
其他好文 时间：
2016-05-22 08:30:19
阅读次数：
623
本期内容：1、JobScheduler内幕实现2、JobScheduler深度思考JobScheduler是SparkStreaming的调度核心，地位相当于SparkCore上调度中心的DAGScheduler，非常重要！JobGenerator每隔BatchDuration时间会动态的生成JobSet提交给JobScheduler，JobScheduler接收到JobSet后，如何处..
分类：
其他好文 时间：
2016-05-20 14:53:19
阅读次数：
366
SparkContext创建：高层DAGScheduler, 底层TaskScheduler, SchedulerBackend
application=driver+executor
Spark的程序分成两个部分：driver和executor
driver驱动executor
Driver部分的源代码：SparkConf+SparkContext
executor具体执行...
分类：
其他好文 时间：
2016-05-12 12:43:38
阅读次数：
172
以wordcount为示例进行深入分析 1 objectwordcount{ 2 3 defmain(args:Array[String]){ ... ...
分类：
其他好文 时间：
2016-04-16 18:29:59
阅读次数：
208
Spark运行原理自我理解：
（1） 首先程序有RDD
Objects分解为DAG有向无环图
（2） 提交DAGScheduler，根据shuffer将DAG分解为一组taskset，即stages
（3） Taskset提交TaskScheduler，每个taskset在分解为多个task，即一个task就是一个split分区
...
分类：
其他好文 时间：
2016-04-15 12:21:40
阅读次数：
552
DAGScheduler Master Worker RDD源码中隐式转换和Actor并发编程def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope { map(x => (x, ....
分类：
其他好文 时间：
2016-01-06 20:10:37
阅读次数：
216
Spark中job由action动作生成，那么stage是如何划分的呢？一般的解答是根据宽窄依赖划分。那么我们深入源码看看吧一个action 例如count，会在多次runJob中传递，最终会到一个函数 dagScheduler.runJob(rdd, cleanedFunc, partitions...
分类：
其他好文 时间：
2016-01-01 23:04:37
阅读次数：
319
Scheduler 模块中最重要的两个类是DAGScheduler 和 TaskScheduler。上篇讲了DAGScheduler，这篇讲TaskScheduler。TaskScheduler前面提到，在 SparkContext 初始化的过程中，根据 master 的类型分别创建不同的 Task...
分类：
其他好文 时间：
2015-10-04 20:51:24
阅读次数：
380
当触发一个RDD的action后，以count为例，调用关系如下：org.apache.spark.rdd.RDD#countorg.apache.spark.SparkContext#runJoborg.apache.spark.scheduler.DAGScheduler#runJoborg.a...
分类：
其他好文 时间：
2015-10-03 18:16:15
阅读次数：
209
