转自：http://www.cnblogs.com/frankdeng/p/9301485.html 一、Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterMa ...
分类：
其他好文 时间：
2019-05-14 09:33:50
阅读次数：
189
1 详细信息 User class threw exception: java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. This stopped SparkContext was creat ...
分类：
编程语言 时间：
2019-05-09 19:44:35
阅读次数：
364
1、RDD 全称 弹性分布式数据集 Resilient Distributed Dataset它就是一个 class。 abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, @transient priv ...
分类：
其他好文 时间：
2019-04-27 00:27:57
阅读次数：
132
上图是spark框架概要图，spark一些重要概念先简要介绍一下：clustermanager：资源管理集群，比如standalone、yarn；application：用户编写的应用程序；Driver：application中的main函数，创建的SparkContext负责与clustermanager通信，进行资源的申请、任务的分配与监控。一般认为SparkContext就是Driver；w
分类：
其他好文 时间：
2019-04-20 17:02:21
阅读次数：
151
Spark内部执行机制 1.1 内部执行流程 如下图1为分布式集群上spark应用程序的一般执行框架。主要由sparkcontext（spark上下文）、cluster manager(资源管理器)和?executor（单个节点的执行进程）。其中cluster manager负责整个集群的统一资源管 ...
分类：
其他好文 时间：
2019-04-13 10:30:43
阅读次数：
140
SparkDriver 用于提交用户的应用程序， 一、SparkConf 负责SparkContext的配置参数加载， 主要通过ConcurrentHashMap来维护各种`spark.*`的配置属性 class SparkConf(loadDefaults: Boolean) extends Cl ...
分类：
其他好文 时间：
2019-03-27 00:08:25
阅读次数：
166
摘自：https://www.cnblogs.com/qingyunzong/p/8945933.html 一、Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与Cluste ...
分类：
其他好文 时间：
2019-03-03 16:05:39
阅读次数：
300
object ScalaApp { def main(args: Array[String]): Unit = { var conf = new SparkConf() conf.setMaster("local") var sc = new SparkContext(conf) val lines... ...
分类：
其他好文 时间：
2019-01-20 15:03:57
阅读次数：
471
1.Scala类或单例对象中快速声明实例对象： eg. new SparkContext(conf).var 系统会自动提示，可以自动补全，如图： ...
分类：
其他好文 时间：
2019-01-13 11:39:42
阅读次数：
167
spark任务运行的源码分析在整个spark任务的编写、提交、执行分三个部分：①编写程序和提交任务到集群中②sparkContext的初始化③触发action算子中的runJob方法，执行任务(1)编程程序并提交到集群：①编程spark程序的代码②打成jar包到集群中运行③使用spark-submit命令提交任务在提交任务时，需要指定--class程序的入口（有main方法的类），1）spark-
分类：
其他好文 时间：
2019-01-03 22:36:48
阅读次数：
181
