码迷,mamicode.com
首页 > 其他好文 > 详细

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(4)

时间:2014-10-16 16:28:02      阅读:269      评论:0      收藏:0      [点我收藏+]

标签:spark技术   spark热点   云计算   spark教程   大数据   

7,在SparkWorker1和SparkWorker2上完成和SparkMaster同样的Hadoop 2.2.0操作,建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容拷贝到SparkWorker1和SparkWorker2上;

8,启动并验证Hadoop分布式集群

第一步:格式化hdfs文件系统:

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

第二步:进入sbin中启动hdfs,执行如下命令:

bubuko.com,布布扣

启动过程如下:

bubuko.com,布布扣

此时我们发现在SparkMaster上启动了NameNode和SecondaryNameNode;

在SparkWorker1和SparkWorker2上均启动了DataNode:

bubuko.com,布布扣

bubuko.com,布布扣

此时访问http://SparkMaster:50070 登录Web控制可以查看HDFS集群的状况:

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣



【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(4)

标签:spark技术   spark热点   云计算   spark教程   大数据   

原文地址:http://blog.csdn.net/wwttz1974/article/details/40147413

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!