码迷,mamicode.com
首页 > 其他好文 > 详细

《深入理解Spark-核心思想与源码分析》(三)第三章SparkContext的初始化

时间:2018-12-24 18:19:51      阅读:112      评论:0      收藏:0      [点我收藏+]

标签:div   private   spm   config   配置   OLE   维护   hash   ansi   

3.1 SparkContext概述

  SparkConf负责配置参数,主要通过ConcurrentHaspMap来维护各种Spark的配置属性。

class SparkConf(loadDefaults: Boolean) extends Cloneable with Logging with Serializable {

  import SparkConf._

  /** Create a SparkConf that loads defaults from system properties and the classpath */
  def this() = this(true)

  private val settings = new ConcurrentHashMap[String, String]()

  @transient private lazy val reader: ConfigReader = {
    val _reader = new ConfigReader(new SparkConfigProvider(settings))
    _reader.bindEnv(new ConfigProvider {
      override def get(key: String): Option[String] = Option(getenv(key))
    })
    _reader
  }
....

 

 

《深入理解Spark-核心思想与源码分析》(三)第三章SparkContext的初始化

标签:div   private   spm   config   配置   OLE   维护   hash   ansi   

原文地址:https://www.cnblogs.com/sunrunzhi/p/10169868.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!