在Spark的Stage内部的每个Partition都会被分配一个计算任务Task，这些Task是并行执行的;Stage之间的依赖关系变成了一个大粒度的DAG，Stage只有在它没有parentStage或者parentStage都已经执行完成后才可以执行，也就是说DAG中的Stage是从前往后顺序执行的。
分类：
其他好文 时间：
2015-12-16 12:50:22
阅读次数：
139
Spark中生成的不同的RDD中有的喝用户的逻辑显式的对于，例如map操作会生成MapPartitionsRDD，而又的RDD则是Spark框架帮助我们隐式生成的，例如reduceByKey操作时候的ShuffledRDD.
分类：
其他好文 时间：
2015-12-16 12:49:23
阅读次数：
148
park中的Task分为ShuffleMapTask和ResultTask两种类型，在Spark中DAG的最后一个Stage内部的任务都是ResultTask，其余所有的Stage(s)的内部都是ShuffleMapTask，生成的Task会被Driver发送到已经启动的Executor中执行具体的计算任务，执行的实现是在TaskRunner.run方法中完成的。
分类：
其他好文 时间：
2015-12-16 12:48:54
阅读次数：
158
在Spark的reduceByKey操作时会触发Shuffle的过程，在Shuffle之前，会有本地的聚合过程产生MapPartitionsRDD，接着具体Shuffle会产生ShuffledRDD,之后做全局的聚合生成结果MapPartitionsRDD
分类：
其他好文 时间：
2015-12-16 12:48:44
阅读次数：
157
SparkCheckpoint通过将RDD写入Disk做检查点，是Sparklineage容错的辅助，lineage过长会造成容错成本过高，这时候在中间阶段做检查点容错，如果之后有节点出现问题而丢失分区，从做检查点的RDD开始重做Lineage，就会减少开销。Checkpoint主要适用于以下两种情况：1.DAG中的Linea..
分类：
其他好文 时间：
2015-12-16 12:48:23
阅读次数：
134
来自原大数据王家林视频视频 23讲var triple = (x : Double) => 3 *x//> triple : Double => Double = Array(3.14,1.42, 2.0).map((x : Double) => 3 * x)//> res0: Array[Doub...
分类：
其他好文 时间：
2015-12-12 20:15:50
阅读次数：
130
Scala 第二讲 函数定义，流程控制，异常处理For 循环 for(左边为单个对象obj <- 右边为对象集合objs )for 循环里把右边的对象赋给左边现在正是学习大数据的最好机遇，不花一分钱就可以成为大数据高手，实现年薪50万的梦想。王家林的第一个中国梦：免费为全社会培养100万名优秀的大数...
分类：
其他好文 时间：
2015-11-23 00:48:57
阅读次数：
178
Hadoop的出现引起大数据的浪潮来临,但是,这仅仅是大数据时代的开始,随着大数据时代的到来，大数据应用慢慢地深入我们的生活的每一个角落，我们对大数据充满无比好奇，却对他们了解的很少，生活在大数据时代的我们，我们怀着挑战自我的精神,跟随着王家林老师来揭秘大数据这个神秘的面纱.Spark是当今大数据领...
分类：
其他好文 时间：
2015-11-18 16:34:39
阅读次数：
162
大数据是用scala语言，和java有些不同又比java强大，省去了很多繁琐的东西，scala中的的接口用trait来定义，不同于java的接口，trait中可以有抽象方法也可以有不抽象方法。scala中的方法中还可以定义方法，这在java中是从来没有的。大数据未来几年发展的重点方向，大数据战略已经...
分类：
其他好文 时间：
2015-11-15 12:15:46
阅读次数：
318
大数据未来几年发展的重点方向，大数据战略已经在十八届五中全会上作为重点战略方向当前相关的项目有hadoop、Spark、Aaka、kafka、flink等等，使用语言有java、scala、python等等对大数据有兴趣者可以参考王老师提供的相关内容，具体如下：王家林的第一个中国梦：免费为全社会培养...
分类：
其他好文 时间：
2015-11-14 20:39:03
阅读次数：
393
