前一我们分析了SparkContext的创建，这一节，我们介绍在RDD执行的时候，如何提交job进行分析，同样是下面的源码：import org.apache.spark.{SparkConf, SparkContext}object SparkWordCount{
def main(args: Array[String]) {
if (args.length == 0) {...
分类：
其他好文 时间：
2015-10-20 06:40:55
阅读次数：
197
spark-submit 脚本应用程序提交流程执行提交命令如下：root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/bin# ./spark-submit --master spark://sparkmaster:7077 --class SparkWordCount --executor-memory 1g /root/IdeaPr...
分类：
其他好文 时间：
2015-10-19 22:36:11
阅读次数：
300
1.安装JDK1.7、Maven3.2.5、Scala2.10.4 2.下载解压Spark1.4.0 下载地址：http://mirrors.cnnic.cn/apache/spark/spark-1.4.0/spark-1.4.0.tgz 3.下载安装 IntelliJ IDEA 14.1.4，给IDEA安装 Scala 插件，然后导入...
分类：
其他好文 时间：
2015-08-30 06:38:43
阅读次数：
327
Spark源码阅读笔记之Broadcast：Spark会序列化在各个任务上使用到的变量，然后传递到Executor中，由于Executor中得到的只是变量的拷贝，因此对变量的改变只在该Executor有效。序列化后的任务的大小是有限制的（由spark.akka.frameSize决定，值为其减去200K，默认为10M-200K），超出该限制的任务会被抛弃。因此，对于需要共享比较大的数据时，需要使用Broadcast。...
分类：
其他好文 时间：
2015-08-13 15:59:17
阅读次数：
600
Scala构建工具（SBT）的使用SBT介绍SBT是Simple Build Tool的简称，如果读者使用过Maven，那么可以简单将SBT看做是Scala世界的Maven，虽然二者各有优劣，但完成的工作基本是类似的。
虽然Maven同样可以管理Scala项目的依赖并进行构建，但SBT的某些特性却让人如此着迷，比如：
使用Scala作为DSL来定义build文件（one language...
分类：
其他好文 时间：
2015-05-28 18:12:15
阅读次数：
148
稍微了解Spark源码的人应该都知道SparkContext，作为整个Project的程序入口，其重要性不言而喻，许多大牛也在源码分析的文章中对其做了很多相关的深入分析和解读。这里，结合自己前段时间的阅读体会，与大家共同讨论学习一下Spark的入口对象—天堂之门—SparkContex。SparkC...
分类：
其他好文 时间：
2014-06-28 19:27:40
阅读次数：
338
