package com.bjsxt.spark.others; import java.util.Arrays; import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache. ...
分类：
Web程序 时间：
2018-06-18 11:52:06
阅读次数：
159
package com.bjsxt.spark.others.pvuv; import java.util.List; import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org. ...
分类：
其他好文 时间：
2018-06-18 11:50:11
阅读次数：
119
package com.bjsxt.spark.others; import java.util.Arrays;import java.util.List; import org.apache.spark.SparkConf;import org.apache.spark.api.java.Java ...
分类：
其他好文 时间：
2018-06-18 11:03:03
阅读次数：
157
package com.bjsxt.spark.others; import java.util.Arrays; import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache. ...
分类：
其他好文 时间：
2018-06-18 11:01:36
阅读次数：
140
package com.bjsxt.spark.others; import java.util.Arrays;import java.util.List; import org.apache.spark.SparkConf;import org.apache.spark.api.java.Java ...
分类：
其他好文 时间：
2018-06-18 11:00:12
阅读次数：
149
package com.bjsxt.spark.others; import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkC ...
分类：
系统相关 时间：
2018-06-18 10:59:05
阅读次数：
149
1.Spark 属性Spark应用程序的运行是通过外部参数来控制的，参数的设置正确与否，好与坏会直接影响应用程序的性能，也就影响我们整个集群的性能。参数控制有以下方式：（1）直接设置在SparkConf，通过参数的形式传递给SparkContext，达到控制目的。（通过set()方法传入key-va ...
分类：
其他好文 时间：
2018-06-15 23:34:12
阅读次数：
434
在2.0版本之前，使用Spark必须先创建SparkConf和SparkContext catalog：目录 Spark2.0中引入了SparkSession的概念，SparkConf、SparkContext 和 SQLContext 都已经被封装在 SparkSession 当中，并且可以通过 ...
分类：
其他好文 时间：
2018-05-21 12:26:47
阅读次数：
282
#!/usr/bin/python # -*- coding: utf_8 -*- from pyspark import SparkConf, SparkContext import os, time if __name__ == '__main__': # Create SparkConf # ... ...
分类：
其他好文 时间：
2018-05-19 21:24:25
阅读次数：
165
1、使用高性能序列化类库2、优化数据结构3、对多次使用的RDD进行持久化/CheckPoint4、使用序列化的持久化级别5、Java虚拟机垃圾回收调优 降低RDD缓存占用空间的比例：new SparkConf().set("spark.storage.memoryFraction","0.5"),从 ...
分类：
其他好文 时间：
2018-05-06 19:59:43
阅读次数：
176
