码迷,mamicode.com
首页 > 其他好文 > 详细

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第三步)(3)

时间:2014-09-10 11:00:41      阅读:345      评论:0      收藏:0      [点我收藏+]

标签:style   http   color   os   io   使用   ar   strong   for   

启动并查看集群的状况

第一步:启动Hadoop集群,这个在第二讲中讲解的非常细致,在此不再赘述:

启动之后在Master这台机器上使用jps命令,可以看到如下进程信息:

bubuko.com,布布扣

在Slave1 和Slave2上使用jps会看到如下进程信息:

bubuko.com,布布扣

bubuko.com,布布扣

第二步:启动Spark集群

 在Hadoop集群成功启动的基础上,启动Spark集群需要使用Spark的sbin目录下“start-all.sh”:

bubuko.com,布布扣

接下来使用“start-all.sh”来启动Spark集群!

bubuko.com,布布扣

读者必须注意的是此时必须写成“./start-all.sh”来表明是当前目录下的“start-all.sh”,因为我们在配置Hadoop的bin目录中也有一个“start-all.sh”文件!

 此时使用jps发现我们在主节点正如预期一样出现了“Master”和“Worker”两个新进程!

bubuko.com,布布扣

此时的Slave1和Slave2会出现新的进程“Worker”:

bubuko.com,布布扣

bubuko.com,布布扣

此时,我们可以进入Spark集群的Web页面,访问“http://Master:8080”: 如下所示:

bubuko.com,布布扣

从页面上我们可以看到我们有三个Worker节点及这三个节点的信息。

此时,我们进入Spark的bin目录,使用“spark-shell”控制台:

bubuko.com,布布扣

bubuko.com,布布扣

此时我们进入了Spark的shell世界,根据输出的提示信息,我们可以通过“http://Master:4040” 从Web的角度看一下SparkUI的情况,如下图所示:

bubuko.com,布布扣

当然,你也可以查看一些其它的信息,例如Environment:

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

同时,我们也可以看一下Executors:

bubuko.com,布布扣

可以看到对于我们的shell而言,Driver是Master:50777.

 

至此,我们 的Spark集群搭建成功,Congratulations!

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第三步)(3)

标签:style   http   color   os   io   使用   ar   strong   for   

原文地址:http://my.oschina.net/u/1791057/blog/311899

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!