码迷,mamicode.com
首页 > 其他好文 > 详细

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(6)

时间:2014-11-03 16:35:08      阅读:127      评论:0      收藏:0      [点我收藏+]

标签:spark spark书籍 spark热点 spark技术 spark教程 云计算 大数据

结束historyserver的命令如下所示:

bubuko.com,布布扣

第四步:验证Hadoop分布式集群

首先在hdfs文件系统上创建两个目录,创建过程如下所示:

bubuko.com,布布扣

Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件,程序运行的结果输出到/output/wordcount目录中,透过Web控制可以发现我们成功创建了两个文件夹:

bubuko.com,布布扣

接下来将本地文件的数据上传到HDFS文件夹中:

bubuko.com,布布扣

透过Web控制可以发现我们成功上传了文件:

bubuko.com,布布扣

也可通过hadoop的hdfs命令在控制命令终端查看信息:

bubuko.com,布布扣

运行Hadoop自带的WordCount例子,执行如下命令:

bubuko.com,布布扣

运行过程如下:

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣


本文出自 “Spark亚太研究院” 博客,请务必保留此出处http://rockyspark.blog.51cto.com/2229525/1571250

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(6)

标签:spark spark书籍 spark热点 spark技术 spark教程 云计算 大数据

原文地址:http://rockyspark.blog.51cto.com/2229525/1571250

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!