版本 spark2.0 1.在SparkSession类里存在变量SparkContext，而一个spark任务只能有一个SparkContext且只能存在driver里，更改参数可以设置允许存在多个SparkContext但只能有一个是激活状态。因此，不能在foreachPartition这种需要 ...
分类：
其他好文 时间：
2018-03-06 17:00:30
阅读次数：
158
package?mydemo
import?org.apache.spark.{SparkConf,?SparkContext}
object?MyWordCountDemo?{
??def?main(args:?Array[String]):?Unit?=?{
分类：
其他好文 时间：
2018-02-28 11:16:58
阅读次数：
115
铭文一级： 核心概念：StreamingContext def this(sparkContext: SparkContext, batchDuration: Duration) = { this(sparkContext, null, batchDuration)} def this(conf: ...
分类：
其他好文 时间：
2018-01-28 23:16:29
阅读次数：
188
我们在初始化SparkConf时，或者提交Spark任务时，都会有master参数需要设置，如下： conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) /bin/spark-sub ...
分类：
其他好文 时间：
2018-01-16 18:10:31
阅读次数：
113
* SparkStreaming基础 打开之前构建好的Maven工程，如何构建？请参看SparkCore基础（二）的最后部分。 在SparkCore中，我们操作的数据都在RDD中，是Spark的一个抽象概念，也是一个抽象类，是由SparkContext对象sc转换得到的。 那么在SparkStrea ...
分类：
其他好文 时间：
2018-01-12 22:33:15
阅读次数：
247
-- 默认情况下，SparkContext对象在spark-shell启动时用namesc初始化。使用以下命令创建SQLContext。 val sqlcontext = new org.apache.spark.sql.SQLContext(sc) -- employee.json-将此文件放在c... ...
分类：
Web程序 时间：
2018-01-09 18:46:47
阅读次数：
294
原文引自：http://blog.sina.com.cn/s/blog_628cc2b70102w9up.html 一、初始化SparkContext System.setProperty("hadoop.home.dir", "D:\\spark-1.6.1-bin-hadoop2.6\\spar ...
分类：
编程语言 时间：
2017-12-22 15:55:17
阅读次数：
188
kmeans Scala程序 import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.mllib.clustering.{KMeans, KMeansModel} import org.apache.spar ...
分类：
编程语言 时间：
2017-12-22 00:36:40
阅读次数：
231
要点: 代码针对于 spark 1.6.1源码 1, TaskScheduler如何注册application, executor如何反注册 2, DAGScheduler 3, spark UI 一、SparkConf概述 SparkContext需要传入SparkConf来进行初始化，Spark ...
分类：
其他好文 时间：
2017-12-17 23:42:12
阅读次数：
172
Master对其它组件注册的处理： Master如果决定接收注册的Worker，首先会创建WorkerInfo对象 ，来保存注册的Worker的信息。 注意：SparkContext 初始化时，会实例化SparkDeploySchedulerBackend，其内部有AppClient，而AppCli ...
分类：
其他好文 时间：
2017-12-16 22:08:00
阅读次数：
118
