码迷,mamicode.com
首页 > 其他好文 > 详细

Spark源码(1) Spark配置

时间:2019-11-15 22:48:59      阅读:54      评论:0      收藏:0      [点我收藏+]

标签:oms   app   加载   设置   name   代码   ati   als   属性   

写熟悉的第一句代码

val conf = new SparkConf().setAppName("WordCount")
点击SparkConf() ,发现

private val settings = new ConcurrentHashMap[String, String]()

可见 所有配置都是以map[String,String]定义的

//即loadDefaults == true
def this() = this(true)
//
if
(loadDefaults) {
  //加载系统默认配置 loadFromSystemProperties(
false) } private[spark] def loadFromSystemProperties(silent: Boolean): SparkConf = { // Load any spark.* system properties 加载所有spark* 开头的系统属性 for ((key, value) <- Utils.getSystemProperties if key.startsWith("spark.")) { set(key, value, silent) } this } /** Set a configuration variable. */ 自己设置属性 def set(key: String, value: String): SparkConf = { set(key, value, false) }
//开头所写的第一句代码即调用该方法 , 该方法又调用set方法 , 完成配置
def setAppName(name: String): SparkConf = {
set("spark.app.name", name)
}
 

 

 

 

 

 

Spark源码(1) Spark配置

标签:oms   app   加载   设置   name   代码   ati   als   属性   

原文地址:https://www.cnblogs.com/lovemeng1314/p/11869767.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!