标签：
SparkContext.scala实现了一个SparkContext的class和object,SparkContext类似Spark的入口，负责连接Spark集群，创建RDD,累积量和广播量等。
在Spark框架下该类在一个JVM中只加载一次。在加载类的阶段，SparkContext类中定义的属性，代码块，函数均被加载。
（1）class SparkContext(config:SparkConf) extends Logging with ExecutoAllocationClient,类SparkContext的默认构造参数为SparkConf类型，SparkContext继承了Logging,以及ExecutoAllocationClient trait，多个trait继承采用了with连接，trait没有任何类参数，trait调用的方法是动态绑定的。
（2）private val creationSite:CallSite=Utils.getCallSite()
val startTime=Syatem.currentTimeMillis()
1.未加private的变量：使用val声明的字段，只有公有的getter方法（getter和setter分别表示为creationSite=和creationSite_=），
而使用var声明的字段，getter和setter方法都是公有的。
2.加private的变量：相对于的val和var声明的getter或setter方法变成私有的方法
（3）：private[spark] val stopped:AtomicBoolean=new AtomicBoolean(false)
private[class_name]指定可以访问该字段的类，class_name必须是当前定义的类，或当前定义的类的外部类，会生成getter和setter方法。private[this]:只有同一个对象中可见，类私有基础之上的对象私有
（4）：private def assertNotStopped():Unit --该方法为一个过程，因为返回值为Unit，同时为类的私有方法
(5)：def this()=this (new SparkConf())主构造器 SparkContext类的构造器，默认参数为SparkConf类型的参数
def this(config:SparkConf,preferredNodeLocationData:Map[String,Set[SplitInfo]])的定义需要首先调用this（config）超方法
（6）：private[spark] def this(master:String,appName:String)spark类的私有构造方法
（7） @volatile private var _dagScheduler:DAGScheduler=_
private var _applicationId:String=_
@volatile注释，通过编译器，被注释的变量将被多个线程使用，这些变量都将在类加载时被实例化
（8）：在try{}catch{}代码块----其中的各种条件语句，属性的初始值，使用master创建taskSchedule等相应的参数
（9）：private[spark] def withScope[U](body:=>U):U=RDDOperationScop.withScope[U](this)(body)
其中U代表类型，比如自定义的类或者scala固有的类，body指向operation，一段代码段，SparkContext类中多处使用该函数。
（10））：def newAPIHadoopFile[K, V, F <: NewInputFormat[K, V]](
path: String,
fClass:
Class[F],
kClass: Class[K],
vClass:
Class[V],
conf: Configuration = hadoopConfiguration):
RDD[(K, V)]）
函数声明说明：调用newAPIHadoopFile[LongWritable,Text,TextInputFormat]("hdfs://ip:port/path/to/file")
path:待读取的文件；conf：hadoop配置文件；fclass：InputFormat输入的数据格式；kClass:输入格式的key的类型；vClass：输入格式的value的类型
（11）：def sequenceFile[K, V]
(path: String,
minPartitions: Int =
defaultMinPartitions)
(implicit km:
ClassTag[K], vm: ClassTag[V],
kcf:
() => WritableConverter[K], vcf: () => WritableConverter[V]): RDD[(K,
V)])
该函数中有默认参数设定，以及一个隐式的转换,柯里化函数
（12)：createTaskScheduler创建任务调度器
(13) ：def stop() 关闭SparkContext;object SparkMasterRegex 用于模式匹配;类WritableFactory和object WritableFactory中包含了隐式工厂操作,implicit def longWritableFactory:WritableFactory[Long] 隐式操作
RDD 抽象类abstract，extends Serializable with Logging
（1）：final
标示的函数和属性均不可被覆写
（2）：对于继承抽象类的子类对父类中的方法进行覆写时，需要加override标示
RDD抽象类被其他的RDD类，如HadoopRDD，继承，在子类中对父类的方法进行覆写，以适用于自身的各种RDD操作
排序，map，reduce操作等
Map是不可变集合，不可以增加减。
val person=Map("spark"->6,"Hadoop"->12)
这样定义是不可以增加减的
val person=scala.collection.mutable.Map("spark"->6,"Hadoop"->12)
这样可以增加元素，如：
person+=("file"->5)
也可以减元素，如：
person-=“file”
标签：
原文地址：http://www.cnblogs.com/chenggongdeni/p/5136710.html
