1.Application:基于spark的用户程序，包含了一个driver program 和集群中多个 executor 2.Driver Program:运行application的main()函数并自动创建SparkContext。通常SparkContext 代表driver progra ...
分类：
其他好文 时间：
2017-07-07 17:29:23
阅读次数：
210
Spark官方文档:SparkConfiguration（Spark配置）Spark主要提供三种位置配置系统：环境变量：用来启动Sparkworkers，可以设置在你的驱动程序或者conf/spark-env.sh脚本中；java系统性能：可以控制内部的配置参数，两种设置方法：编程的方式（程序中在创建SparkContext之前，使用..
分类：
其他好文 时间：
2017-07-03 15:08:28
阅读次数：
170
Spark中的Broadcast处理 首先先来看一看broadcast的使用代码: val values = List[Int](1,2,3) val broadcastValues = sparkContext.broadcast(values) rdd.mapPartitions(iter => ...
分类：
其他好文 时间：
2017-06-21 09:34:59
阅读次数：
1523
SPARK的内存管理器 StaticMemoryManager,UnifiedMemoryManager 1.6以后默认是UnifiedMemoryManager. 这个内存管理器在sparkContext中通过SparnEnv.create函数来创建SparkEnv的实例时,会生成. 通过spar ...
分类：
其他好文 时间：
2017-06-20 18:41:57
阅读次数：
652
在2.0版本之前，使用Spark必须先创建SparkConf和SparkContext，不过在Spark2.0中只要创建一个SparkSession就够了，SparkConf、SparkContext和SQLContext都已经被封装在SparkSession当中。 在与spark2.0交互之前必须 ...
分类：
其他好文 时间：
2017-06-18 15:15:24
阅读次数：
181
Spark的Cluster Manager能够有几种部署模式：StandloneMesosYARNEC2Local在向集群提交计算任务后，系统的运算模型就是Driver Program定义的SparkContext向APP Master提交，有APP Master进行计算资源的调度并终于完毕计算。具 ...
分类：
其他好文 时间：
2017-06-04 11:51:11
阅读次数：
425
第一种，通过配置文件 val sc = new SparkContext() sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://cluster1"); sc.hadoopConfiguration.set("dfs.nameservices", " ...
分类：
其他好文 时间：
2017-05-29 12:51:06
阅读次数：
241
package kaggle import org.apache.spark.SparkContext import org.apache.spark.SparkConf import org.apache.spark.sql.{SQLContext, SparkSession} import or... ...
分类：
其他好文 时间：
2017-05-26 16:38:01
阅读次数：
274
Linux下运行sparklocalbindonport0.Attemptingport1问题2016-11-0116:04:56[org.apache.spark.util.Utils]-[WARN]-Service‘sparkDriver‘couldnotbindonport0.Attemptingport1.2016-11-0116:04:56[org.apache.spark.SparkContext]-[ERROR]-ErrorinitializingSparkContext.java.n..
分类：
其他好文 时间：
2017-05-19 23:57:05
阅读次数：
482
ERROR spark.SparkContext: Error initializing SparkContext.java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max ...
分类：
其他好文 时间：
2017-05-19 13:29:30
阅读次数：
175
