Application Application=a driver program + executors 一般来说：1个SparkContext = 1个application=1个SparkShell Spark提交任务不一定须在集群里提交，有gateway就行 1个application ==> ...
分类：
系统相关 时间：
2021-03-04 13:20:14
阅读次数：
0
1.RDD的缓存 Spark速度非常快的原因之一，就是在不同操作中可以在内存中持久化或缓存个数据集。当持久化某个RDD后，每一个节点都将把计算的分片结果保存在内存中，并在对此RDD或衍生出的RDD进行的其他动作中重用。这使得后续的动作变得更加迅速。RDD相关的持久化和缓存，是Spark最重要的特征之 ...
分类：
其他好文 时间：
2017-08-25 12:30:48
阅读次数：
458
1、首次提交 2、结果卡红框处较长时间然后出错 3、更改资源后成功提交 ...
分类：
其他好文 时间：
2017-05-09 00:51:09
阅读次数：
128
CDH版本：5.10.0 IDE环境：win7 64位 MyEclipse2015 spark模式：yarn 提交模式：yarn-client 之前同样的IDE环境下，向alone模式的spark提交任务，一直很顺利，今天测了一下spark on yarn模式，提交只能是yarn-client模式， ...
1.Spark提交任务./spark-submit--class"com.prime.dsc.mention.main.WordCountForSpark"--masterspark://DEV-HADOOP-01:7077/data/server/spark-1.5.0-bin-hadoop2.6/sparkJar/PRIME_DSC_Mention-1.0.0-SNAPSHOT.jar2.Spark本地运行SparkConfsparkConf=newSparkConf().setAppNa..
分类：
其他好文 时间：
2016-07-06 18:48:54
阅读次数：
362
1.Spark提交任务./spark-submit--class"com.prime.dsc.mention.main.WordCountForSpark"--masterspark://DEV-HADOOP-01:7077/data/server/spark-1.5.0-bin-hadoop2.6/sparkJar/PRIME_DSC_Mention-1.0.0-SNAPSHOT.jar2.Spark本地运行SparkConfsparkConf=newSparkConf().setAppNa..
分类：
其他好文 时间：
2016-07-06 18:47:37
阅读次数：
190
