TaskScheduler是SparkContext中的重要组成部分，负责任务的调度功能。为简单起见，本文以local模式为例，介绍TaskScheduler的启动原理
分类：
其他好文 时间：
2016-03-02 14:56:12
阅读次数：
184
算法的数学分析部分：可参考网络，或者Google PageRank 论文。此处不做讨论，或以后我彻底搞明白再论述。 代码实现： val sc = new SparkContext(...) val links = sc.parallelize(Array(('A',Array('D')),('B',
分类：
其他好文 时间：
2016-02-28 16:34:29
阅读次数：
144
任何系统都需要提供监控功能，用浏览器能访问具有样式及布局，并提供丰富监控数据的页面无疑是一种简单、高效的方式。SparkUI就是这样的服务，它的构成如图3-1所示。
分类：
其他好文 时间：
2016-02-22 13:40:32
阅读次数：
332
内容：1、Spark天堂之门；2、SparkContext使用案例鉴赏；3、SparkContext内幕；4、SparkContext源码解密；SparkContext是编写任意Spark程序的第一个对象，用SparkConf为传入的参数==========Spark天堂之门：SparkContext！！！============1、Spark程序在运行的时候分为Driver..
分类：
其他好文 时间：
2016-02-21 06:48:27
阅读次数：
1031
此文旨在对spark storage模块进行分析，整理自己所看所得，等以后再整理。 ok，首先看看SparkContext中sparkEnv相关代码： 1 private[spark] def createSparkEnv( 2 conf: SparkConf, 3 isLocal: Boolean
分类：
其他好文 时间：
2016-02-16 11:35:33
阅读次数：
211
内容：1、map、filter、flatmap等操作回顾；2、reduceBykey、groupBykey；3、jion、cogroug；算子共同特点：都是最常用的算子，构建复杂算法的基石，都是lazy级别的，不属于action创建SparkContext是Spark的起点，只有创建SparkContext，才能创建RDD==========map============..
分类：
其他好文 时间：
2016-02-08 17:31:39
阅读次数：
311
今晚听了王家林老师的Spark IMF传奇行动第17课Transformations实战，作业是用SCALA写cogroup：def main(args: Array[String]): Unit = { val sc = sparkContext("Transformations") ...
分类：
其他好文 时间：
2016-01-23 07:48:38
阅读次数：
169
SparkContext.scala实现了一个SparkContext的class和object,SparkContext类似Spark的入口，负责连接Spark集群，创建RDD,累积量和广播量等。在Spark框架下该类在一个JVM中只加载一次。在加载类的阶段，SparkContext类中定义的属性...
分类：
其他好文 时间：
2016-01-17 06:23:44
阅读次数：
258
话不多说。直接上代码咯。欢迎交流。/** * Created by whuscalaman on 1/7/16. */import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.mllib.classifica.....
分类：
其他好文 时间：
2016-01-09 17:04:14
阅读次数：
216
第2课：Scala面向对象彻底精通及Spark源码阅读本期内容：1 Scala中的类、object实战详解 2 Scala中的抽象类、接口实战详解 3 综合案例及Spark源码解析一：定义类class HiScala{private var name = "Spark" def sayName(){...
分类：
其他好文 时间：
2016-01-03 17:32:51
阅读次数：
387
