码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop入门进阶步步高(五)-搭建Hadoop集群

时间:2014-06-16 23:18:41      阅读:499      评论:0      收藏:0      [点我收藏+]

标签:hadoop   namenode   mapreduce   hadoop集群   分布式   

五、搭建Hadoop集群

上面的步骤,确认了单机可以执行Hadoop的伪分布执行,真正的分布式执行无非也就是多几台slave机器而已,配置方面的有一点点区别,配置起来就非常简单了。

1、准备三台服务器

192.168.56.101

192.168.56.102

192.168.56.103

在每台机器的/etc/hosts中都将iphostname给映射上:

192.168.56.101  nginx1

192.168.56.102  nginx2

192.168.56.103  nginx3

其中192.168.56.101为前面配置的那台服务器,用于做为namenodejobtracker,另外两台用于做slaves,用于执行datanodetasktracker

要使某台服务器成为namenode,必须在要core-site.xml中指定它;要使某个节点成为jobtracker,必须在mapred-site.xml指定它,这个参见第5点中的core-site.xml以及mapred-site.xml的配置。

Hadoop来说,从hdfs的角度来看有namenodedatanodenamenode只能够有一个,而datanode可以有多个,namenode存放的是datanode中文件的元数据,客户端通过namenode获取datanode中文件的信息;从jobtracker角度来说看有jobtrackertasktrackerjobtracker只能够有一个,而tasktracker可以有多外,tasktracker通过jobtracker来调度。

在本例中使用192.168.56.101做为namenodejobtracker,使用192.168.56.102做为secondarynamenodedatanode以及tasktracker,使用192.168.56.103做为datanode以及tasktracker,详情参见下面的配置。

2、三台服务器要具有一致的配置信息

1)、JDK的路径必须相同;

2)、操作Hadoop的用户必须相同;

3)、Hadoop的存放路径必须相同;

Slave机器上的hadoop可直接将namenode上面的hadoop拷贝过去,不用做任何修改,只要路径放置就可以了;

4)、每台机器~/.ssh目录下存放相同的id_rsaauthorized_keys

namenode的机器上的~/.ssh/id_rsaauthorized_keys拷贝到每台slave机器上的~/.ssh中,当然slave机器中也必须是安装了ssh的了,然后在每台机器上都通过ssh访问一下其它的两台机器,确保都是可以不输入密码访问的。

5)、三台机器的/etc/profile中的内容相同;

3、修改$HADOOP_HOME/conf/slaves文件

这个文件存放的是所有datanodeIP或者机器名,每行指定一个。我们这里使用nginx2nginx3来做为datanode,因此slaves文件的配置如下:

nginx2

nginx3

 

4、修改$HADOOP_HOME/conf/masters文件(此例中可选)

masters文件中放置的是secondarynamenode的机器名,其中默认的内容为“localhost”,但是在生产环境中,肯定不会将namenodesecondarynamenode放置在同一台服务器上,在此例中我就将secondarynamename设置在第二台服务器上,那么此时文件中的内容应该如下:

#这里只使用一台做为secondarynamenode

nginx2

#nginx3

5、修改core-site.xmlmapred-site.xmlhdfs-site.xml

只需要做简单的修改就可以了,不同点以红色字体标识出。

core-site.xml:

<configuration>  

  <property>  

    <!-- 用于设置Hadoop的文件系统,由URI指定,value对应的服务器就是namenode所在的服务器及端口,secondarynamenode通过在masters这个文件中指定 -->

    <name>fs.default.name</name>  

    <value>hdfs://nginx1:9000</value>  

  </property>  

  <property>

<!-- 配置Hadoop的临时目录,默认在/tmp目录下,但是/tmp上面可能会被系统自动清理掉。-->

<name>hadoop.tmp.dir</name>

<!-- 目录如果不存在,需要手动创建 -->

    <value>/home/fenglibin/hadoop_tmp</value>

    <description>A base for other temperary directory</description>

  </property>

</configuration>  

 

mapred-site.xml

<configuration>  

  <property>  

    <!-- value对应的值为jobtracker所在的服务器及端口,tasktrackerslaves中指定 -->

    <name>mapred.job.tracker</name>  

    <value>nginx1:9001</value>  

  </property>  

</configuration>

 

    hdfs-site.xml

<configuration>  

  <property>

    <!-- 指定其副本数,value的值表示副本的数量 -->  

<name>dfs.replication</name>  

<!-- 这里有两台datanode -->

    <value>2</value>  

  </property>  

</configuration>

 

6、启动验证

6.1查看进程

DataNode都是通过NameNode启动起来的,因而启动的时候只需要在NameNode上执行start-all.sh就可以了,此时我们查看各服务器中的进程。

Nginx1NameNode)所在服务器:

fenglibin@ubuntu1110:/usr/local/hadoop-1.2.1$ jps

2834 NameNode

3011 JobTracker

3108 Jps

Ngnix2

fenglibin@ubuntu11102:~$ jps

984 DataNode

1075 TaskTracker

919 SecondaryNameNode

1420 Jps

Ngnix3

fenglibin@ubuntu11103:~$ jps

1374 Jps

1021 TaskTracker

846 DataNode

从上面的进程信息,可以看到nginx1中启动了namenodejobtracker,nginx2nginx3都分别启动了DataNode及TaskTracker,只是nginx2中比nginx3中多启动了一个SecondaryNameNode,这也是我们希望的结果。

通过如下命令:

hadoop dfsadmin -report

可得到如下输出:

Warning: $HADOOP_HOME is deprecated.

 

Safe mode is ON

Configured Capacity: 15283421184 (14.23 GB)

Present Capacity: 10592149504 (9.86 GB)

DFS Remaining: 10591629312 (9.86 GB)

DFS Used: 520192 (508 KB)

DFS Used%: 0%

Under replicated blocks: 20

Blocks with corrupt replicas: 0

Missing blocks: 0

 

-------------------------------------------------

Datanodes available: 2 (2 total, 0 dead)

 

Name: 192.168.56.102:50010

Decommission Status : Normal

Configured Capacity: 7641710592 (7.12 GB)

DFS Used: 307200 (300 KB)

Non DFS Used: 2733502464 (2.55 GB)

DFS Remaining: 4907900928(4.57 GB)

DFS Used%: 0%

DFS Remaining%: 64.23%

Last contact: Sun Jun 15 15:46:39 CST 2014

 

 

Name: 192.168.56.103:50010

Decommission Status : Normal

Configured Capacity: 7641710592 (7.12 GB)

DFS Used: 212992 (208 KB)

Non DFS Used: 1957769216 (1.82 GB)

DFS Remaining: 5683728384(5.29 GB)

DFS Used%: 0%

DFS Remaining%: 74.38%

Last contact: Sun Jun 15 15:46:39 CST 2014

 

 

6.2 集群状态监控页面

查看namenode的状态

namenode是布署在192.168.56.101上,只需要输入:

http://192.168.56.101:50070

即可查看namenode的状态,如下图所示:

 bubuko.com,布布扣

查看jobtracker的状态

jobtrackernamenode是布署在同一台机器上的,输入:

http://192.168.56.101:50030

即可查看jobtracker的状态,如下图所示:

 bubuko.com,布布扣

查看secondarynamenode的状态

Secondarynamenode是布署在192.168.56.102上面,输入:

http://192.168.56.102:50090

即可查看其状态,如下:

 bubuko.com,布布扣

查看192.168.56.102上面的tasktracker的状态,打入:

http://192.168.56.102:50060

查看状态,如下:

 bubuko.com,布布扣

 

从上面可以看出,监控的服务,都是以“500*”端口对外提供服务,不过这里发现一个问题,同为datanode以及tasktracker192.168.56.103上面却没有开启一个“500*”这样的端口,而192.168.56.102上却开启除secondarynamenode之外的其它4个“500*”这样的端口:

192.168.56.102

 bubuko.com,布布扣

其中端口50090secondarynamenode的监控端口,而50060tasktracker的监控端口,而5001050075以及50020都是datanode使用的端口。

而在192.168.56.103上,却只开了两个端口:

 bubuko.com,布布扣

分别与namenode以及jobtracker相连着的。

为什么在192.168.56.103上面tasktracker以及datanode的监控呢?

Hadoop入门进阶步步高(五)-搭建Hadoop集群,布布扣,bubuko.com

Hadoop入门进阶步步高(五)-搭建Hadoop集群

标签:hadoop   namenode   mapreduce   hadoop集群   分布式   

原文地址:http://blog.csdn.net/fenglibing/article/details/31057447

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!