SparkContext概述 sparkContext是所有的spark应用程序的发动机引擎，就是说你想要运行spark程序就必须创建一个，不然就没的玩了。sparkContext负责初始化很多东西，当其初始化完毕以后，才能像spark集群提交任务，这个地方还有另一个管理配置的类sparkConf， ...
分类：
其他好文 时间：
2017-09-03 11:15:23
阅读次数：
196
1、创建Spark Session 2、将RDD隐式转换为DataFrame import spark.implicits._ 3、SparkSession 介绍 spark中包含 sparkContext和 sqlContext两个对象 sparkContext 是操作 RDD 的 sqlCont ...
分类：
数据库 时间：
2017-08-26 22:48:53
阅读次数：
271
It appears that you are attempting to reference SparkContext from a broadcast " Exception: It appears that you are attempting to reference SparkContex ...
分类：
其他好文 时间：
2017-08-19 23:42:08
阅读次数：
903
1.Spark1.x 属性配置方式 Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。 在Spark1.0.0提供了3种方式的属性配置： SparkConf方式 SparkConf方式可以直接将属性值传递到SparkContext； SparkConf可以对某些通用属性 ...
分类：
其他好文 时间：
2017-08-17 20:24:50
阅读次数：
188
SparkContext 和 SparkConf 任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。 初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作 ...
分类：
其他好文 时间：
2017-08-12 20:25:38
阅读次数：
315
RDD RDD初始參数：上下文和一组依赖 abstract class RDD[T: ClassTag]( @transient private var sc: SparkContext, @transient private var deps: Seq[Dependency[_]] ) exten ...
分类：
其他好文 时间：
2017-08-04 12:53:26
阅读次数：
189
1、应用程序创建 SparkContext 的实例 sc 2、利用 SparkContext 的实例来创建生成 RDD 3、经过一连串的 transformation 操作，原始的 RDD 转换成为其它类型的 RDD 4、当 action 作用于转换之后 RDD 时，会调用 SparkContext ...
分类：
其他好文 时间：
2017-08-01 11:17:54
阅读次数：
203
Spark Core提供了三种创建RDD的方式，包括：使用程序中的集合创建RDD；使用本地文件创建RDD；使用HDFS文件创建RDD。1、并行化集合如果要通过并行化集合来创建RDD，需要针对程序中的集合，调用SparkContext的parallelize()方法。Spark会将集合中的数据拷贝到集... ...
分类：
其他好文 时间：
2017-07-26 19:24:24
阅读次数：
263
本质上在Actions算子中通过SparkContext运行提交作业的runJob操作，触发了RDD DAG的运行。 依据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类型。 无输出 foreach 对RDD中的每一个元素都应用f函数操作，不返回RD ...
分类：
其他好文 时间：
2017-07-21 18:17:34
阅读次数：
257
Spark是最为流行的分布式计算框架，这篇文章简要介绍spark 1.X版本任务调度的基本部件及其原理，包括SparkContext，SparkEnv，Executor，TaskScheduler，DAGScheduler以及其他部件。本文参考自《深入理解Spark》(by耿嘉安)一书。 1 Spa ...
分类：
其他好文 时间：
2017-07-08 12:27:02
阅读次数：
277
