码迷,mamicode.com
首页 > 其他好文 > 详细

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)

时间:2014-11-19 14:21:03      阅读:211      评论:0      收藏:0      [点我收藏+]

标签:style   http   ar   os   使用   sp   文件   on   2014   

第三步:测试Spark集群

把Spark安装包下的README.txt上传到

bubuko.com,布布扣

bubuko.com,布布扣

通过hdfs的web控制台可以发现成功上传了文件:

bubuko.com,布布扣

使用“MASTER:spark://SparkMaster:7077 ./spark-shell”命令启动Spark shell:

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

接下来通过以下命令读取刚刚上传到HDFS上的“README.md”文件 :

bubuko.com,布布扣

对读取的文件进行以下操作:

bubuko.com,布布扣

接下来使用collect命令提交并执行Job:

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

 

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)

标签:style   http   ar   os   使用   sp   文件   on   2014   

原文地址:http://my.oschina.net/u/1791057/blog/346277

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!