Spark版本 1.3 Spark源码 Spark.createTaskScheduler TaskScheduler初始化过程 1.// SparkContext中 /** * Create a task scheduler based on a given master URL. * Retur... ...
分类：
其他好文 时间：
2018-11-19 21:44:32
阅读次数：
206
Spark start-all>> """Master启动流程""" Master类 class Master( host: String, port: Int, webUiPort: Int, val securityMgr: SecurityManager, val conf: SparkCon... ...
分类：
其他好文 时间：
2018-11-18 14:18:37
阅读次数：
161
Spark 版本:1.3 调用shell, spark-submit.sh args[] 首先是进入 org.apache.spark.deploy.SparkSubmit 类中调用他的 main() 方法 1.1 val appArgs = new SparkSubmitArguments(arg ...
分类：
其他好文 时间：
2018-11-18 14:18:05
阅读次数：
263
深入浅出spark粒子特效连接：https://www.cnblogs.com/lyggqm/p/9956344.html eimtter： 上图是spark源码中发射器emitter的框架 我们开始逐个分析： 1.normal An emitter that emits particles fol ...
分类：
其他好文 时间：
2018-11-14 12:24:58
阅读次数：
140
Spark源码研读-散篇记录（二）：Spark内置RPC框架之TransportConf
分类：
其他好文 时间：
2018-09-11 12:21:25
阅读次数：
165
Spark源码研读-散篇记录（一）：SparkConf
分类：
其他好文 时间：
2018-09-09 23:33:38
阅读次数：
265
sparkcontext是spark应用程序的入口,每个spark应用都会创建sparkcontext,用于连接spark集群来执行计算任务.在sparkcontext初始化过程中会创建SparkEnv,SparkUI,TaskSchedule,DAGSchedule等多个核心类,我们会逐个分析他们 ...
分类：
其他好文 时间：
2018-08-27 21:57:22
阅读次数：
172
6.创建和启动DAGScheduler DAGScheduler主要用于在任务正式交给TaskSchedulerImpl提交之前做一些准备工作，包括：创建Job，将DAG中的RDD划分到不同的Stage，提交Stage，等等。创建DAGScheduler的代码如下： DAGScheduler的数据结 ...
分类：
其他好文 时间：
2018-07-15 23:21:58
阅读次数：
193
5. 创建任务调度器TaskScheduler TaskScheduler也是SparkContext的重要组成部分，负责任务的提交，并且请求集群管理器对任务调度。TaskScheduler也可以看作任务调度的客户端。创建TaskScheduler的代码如下： createTaskScheduler ...
分类：
其他好文 时间：
2018-07-15 23:21:25
阅读次数：
178
4. Hadoop相关配置及Executor环境变量的设置 4.1 Hadoop相关配置信息 默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息的代码如下： 获取的配置信息包括： 将Amazon S3文件系统的AccessKeyId和SecretAccessK ...
分类：
其他好文 时间：
2018-07-15 23:13:01
阅读次数：
233
