spark内核揭秘-11-Driver中AppClient源码分析
Interface allowing applications to speak with a Spark deploy cluster. Takes a master URL,an app description, and a listener for cluster events, and calls back the listener when various events occur....
分类:
移动开发 时间:
2015-01-21 20:11:19
阅读次数:
155
spark内核揭秘-10-RDD源码分析
**
* A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable,
* partitioned collection of elements that can be operated on in parallel. This class contains the
* basic operations available on a...
分类:
其他好文 时间:
2015-01-21 16:37:59
阅读次数:
196
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02...
分类:
其他好文 时间:
2015-01-20 20:38:35
阅读次数:
233
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01...
分类:
其他好文 时间:
2015-01-20 18:06:57
阅读次数:
211
spark内核揭秘-08-spark的Web监控页面
spark内核揭秘-08-spark的Web监控页面
spark内核揭秘-08-spark的Web监控页面
spark内核揭秘-08-spark的Web监控页面...
分类:
Web程序 时间:
2015-01-20 13:47:16
阅读次数:
173
spark内核揭秘-07-DAGScheduler源码解读初体验
spark内核揭秘-07-DAGScheduler源码解读初体验
spark内核揭秘-07-DAGScheduler源码解读初体验
spark内核揭秘-07-DAGScheduler源码解读初体验...
分类:
其他好文 时间:
2015-01-19 20:59:01
阅读次数:
180
spark内核揭秘-06-TaskSceduler启动源码解析初体验
spark内核揭秘-06-TaskSceduler启动源码解析初体验
spark内核揭秘-06-TaskSceduler启动源码解析初体验
spark内核揭秘-06-TaskSceduler启动源码解析初体验...
分类:
其他好文 时间:
2015-01-19 19:06:45
阅读次数:
148
SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例:
进入createTaskScheduler方法:
spark内核揭秘-05-SparkContext核心源码解析初体验
我们看一下其Standalone的方式:
在上述代码中首先实例化一个TaskSchedulerImpl:
然后构建出了masterUrls:
接着创建出了非常关键的backend:...
分类:
其他好文 时间:
2015-01-19 15:47:44
阅读次数:
169
spark内核揭秘-04-spark任务调度系统个人理解
spark内核揭秘-04-spark任务调度系统个人理解
spark内核揭秘-04-spark任务调度系统个人理解
spark内核揭秘-04-spark任务调度系统个人理解...
分类:
其他好文 时间:
2015-01-18 14:27:26
阅读次数:
168
spark内核揭秘-02-spark集群概览
spark内核揭秘-02-spark集群概览
spark内核揭秘-02-spark集群概览
spark内核揭秘-02-spark集群概览...
分类:
其他好文 时间:
2015-01-18 10:36:10
阅读次数:
219