写熟悉的第一句代码 val conf = new SparkConf().setAppName("WordCount")点击SparkConf() ,发现 private val settings = new ConcurrentHashMap[String, String]() 可见 所有配置都是 ...
分类：
其他好文 时间：
2019-11-15 22:48:59
阅读次数：
156
//1.准备环境val conf: SparkConf = new SparkConf().setAppName("_01SparkGraphx").setMaster("local[*]")val sc: SparkContext = new SparkContext(conf)sc.setLog ...
分类：
其他好文 时间：
2019-11-05 01:14:53
阅读次数：
102
大数据教程：Transformation和Action算子演示 一、Transformation算子演示 val conf = new SparkConf().setAppName("Test").setMaster("local") val sc = new SparkContext(conf) ...
分类：
其他好文 时间：
2019-06-17 17:17:14
阅读次数：
119
大数据基础教程：创建RDD的二种方式 1.从集合中创建RDD val conf = new SparkConf().setAppName("Test").setMaster("local") val sc = new SparkContext(conf) //这两个方法都有第二参数是一个默认值2 分 ...
分类：
其他好文 时间：
2019-06-12 16:37:50
阅读次数：
99
Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置 环境变量：可以通过每个节点的 conf/spark-env.sh脚本设置。例如IP地址、端口等信息 日志配置：可以通过log4j.properties配置 Spark ...
分类：
其他好文 时间：
2019-05-05 23:33:06
阅读次数：
145
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.a ...
分类：
其他好文 时间：
2019-04-07 12:37:05
阅读次数：
168
package action; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.... ...
分类：
其他好文 时间：
2019-04-02 12:21:49
阅读次数：
116
SparkDriver 用于提交用户的应用程序， 一、SparkConf 负责SparkContext的配置参数加载， 主要通过ConcurrentHashMap来维护各种`spark.*`的配置属性 class SparkConf(loadDefaults: Boolean) extends Cl ...
分类：
其他好文 时间：
2019-03-27 00:08:25
阅读次数：
166
异常信息如下： 这是因为spark本身分发任务的时候，对象本身需要做序列化操作。如果没做，则在服务之间的无法做远程对象通信RPC。 有两种解决的方案： 一种是实体类集成 java.io.Serializable 接口 另一种是： sparkConf.set("spark.serializer", " ...
分类：
其他好文 时间：
2019-03-23 10:24:54
阅读次数：
190
Java版 package com.huanfion.Spark; import com.sun.tools.internal.ws.processor.model.java.JavaParameter; import org.apache.spark.SparkConf; import org.a ...
分类：
其他好文 时间：
2019-02-15 11:55:43
阅读次数：
162
