LocalSparkContext.scala import org.apache.spark.{SparkConf, SparkContext} import org.scalatest._ trait LocalSparkContext extends BeforeAndAfterAll { s ...
### scala源码 /* SimpleApp.scala */ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf import... ...
分类：
其他好文 时间：
2017-10-15 00:30:33
阅读次数：
200
1、sc.version2、集群对象：SparkContext；获得Spark集群的SparkContext对象，是构造Spark应用的第一步！SparkContext对象代表 整个 Spark集群，是Spark框架 功能的入口 ，可以用来在集群中创建RDD、累加器变量和广播变量。SparkCont ...
在spark yarn模式下跑yarn-client时出现无法初始化SparkContext错误. jdk1.7的时候，没有如下报错,但是java1.8出现 原因可能与yarn配置文件中 containers 的默认属性有关,被强制限定了物理内存 可以尝试中hadoop的conf下yarn.xml配 ...
分类：
其他好文 时间：
2017-09-27 19:02:43
阅读次数：
163
集群模式概述 该文档给出了 Spark 如何在集群上运行、使之更容易来理解所涉及到的组件的简短概述。通过阅读 应用提交指南 来学习关于在集群上启动应用。 组件 Spark 应用在集群上作为独立的进程组来运行，在您的 main 程序中通过 SparkContext 来协调（称之为 driver 程序） ...
分类：
Web程序 时间：
2017-09-27 19:01:14
阅读次数：
254
学习任何spark知识点之前请先正确理解spark，可以参考：正确理解spark本文详细介绍了sparkkey-value类型的rddjavaapi一、key-value类型的RDD的创建方式1、sparkContext.parallelizePairsJavaPairRDD<String,Integer>javaPairRDD=
sc.parallelizePairs(Arrays.asList(newT..
分类：
编程语言 时间：
2017-09-20 00:52:23
阅读次数：
332
1、使用Sparkconf配置Spark 对Spark进行性能调优，通常就是修改Spark应用的运行时配置选项。 Spark中最主要的配置机制通过SparkConf类对Spark进行配置，当创建出一个SparkContext时，就需要创建出一个SparkConf实例。 Sparkconf实例包含用户 ...
分类：
其他好文 时间：
2017-09-18 12:21:12
阅读次数：
204
RDDjavaapi其实底层是调用了scala的api来实现的，所以我们有必要对javaapi是怎么样去调用scalaapi，我们先自己简单的实现一个scala版本和java版本的RDD和SparkContext一、简单实现scala版本的RDD和SparkContextclassRDD[T](value:Seq[T]){
//RDD的map操作
defmap[U](f:T=>U)..
分类：
编程语言 时间：
2017-09-18 11:03:03
阅读次数：
213
Spark对很多种文件格式的读取和保存方式都很简单。Spark会根据文件扩展名选择对应的处理方式。 Spark支持的一些常见文件格式如下： 1、文本文件 使用文件路径作为参数调用SparkContext中的textFile()函数，就可以读取一个文本文件。也可以指定minPartitions控制分区 ...
分类：
其他好文 时间：
2017-09-17 00:38:38
阅读次数：
212
spark简述 sparkContext在Spark应用程序的执行过程中起着主导作用，它负责与程序和spark集群进行交互，包括申请集群资源、创建RDD、accumulators及广播变量等。sparkContext与集群资源管理器、work节点交互图如下： 官网对图下面几点说明： （1）不同的Sp ...
分类：
其他好文 时间：
2017-09-07 13:23:41
阅读次数：
260
