码迷,mamicode.com
首页 > Windows程序 > 详细

Spark API编程动手实战-05-spark文件操作和debug

时间:2015-01-27 16:31:20      阅读:239      评论:0      收藏:0      [点我收藏+]

标签:executor-memory   hadooprdd   mappedrdd   flatmappedrdd   shuffledrdd   

这次 我们以指定executor-memory参数的方式来启动spark-shell:

技术分享

技术分享

启动成功了


在命令行中我们指定了spark-shell运行暂用的每个机器上的executor的内存为1g大小,启动成功后参看web页面:

技术分享


从hdfs上读取文件:

技术分享


在命令行中返回的MappedRDD,使用toDebugString,可以查看其lineage的关系:

技术分享

可以看出MappedRDD是从HadoopRDD转换而来的

再看下textFile的源代码:

技术分享


hadoopFile这个方法返回的是一个HadoopRDD,源码如下所示:

技术分享

技术分享

而map方法产生的是一个MappedRDD:

技术分享


下面进行一个简单的wordcount操作:

技术分享

执行结果:

技术分享

再次使用toDebugString,查看下依赖关系:

技术分享

HadoopRDD -> MappedRDD -> FlatMappedRDD ->  MappedRDD -> ShuffledRDD 

Spark API编程动手实战-05-spark文件操作和debug

标签:executor-memory   hadooprdd   mappedrdd   flatmappedrdd   shuffledrdd   

原文地址:http://blog.csdn.net/stark_summer/article/details/43023547

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!