最近在看各种博客，学习 spark 源代码。网上对源代码的分析基本都是基于 0.7, 0.8, 1.0 的代码，而现在的发行版已经是 1.5 了。所以有些代码不大对的上。比如函数 RDD.map()旧版本是：def mapU: ClassTag: RDD[U] = new MappedRDD(thi...
分类：
其他好文 时间：
2015-10-02 18:34:36
阅读次数：
2715
这次 我们以指定executor-memory参数的方式来启动spark-shell：
启动成功了
在命令行中我们指定了spark-shell运行暂用的每个机器上的executor的内存为1g大小，启动成功后参看web页面：
从hdfs上读取文件：
在命令行中返回的MappedRDD，使用toDebugString，可以查看其line...
