hadoop及hbase集群增加节点

标签：inux   stat   admin   host   sbin   无密码登陆   play   logs   mon   

192.168.11.131 master1

192.168.11.132 master2

192.168.11.133 slave1

192.168.11.134 slave2

192.168.11.135 slave3

新加入的节点：

192.168.11.136 slave4

192.168.11.137 slave5

一、hadoop扩容

1、配置各节点hosts文件，加入新加入的两个节点的IP和主机名

新添加的节点添加下面内容

192.168.11.131 master1

192.168.11.132 master2

192.168.11.133 slave1

192.168.11.134 slave2

192.168.11.135 slave3

新节点互相加入对方的主机名解析

老的节点添加下面内容

192.168.11.136 slave4

192.168.11.137 slave5

2、准备工作

参照之前的博客生产环境下hadoop HA集群及Hbase HA集群配置 为新添加的节点做以下操作：

配置主机名

关闭防火墙和selinux

配置yum源

配置时间同步（作为ntp服务客户端）

创建组和用户

创建目录

无密码登陆

配置java环境

3、修改hadoop配置文件并拷贝hadoop文件

登录master1节点

$ cd /data1/usr/hadoop-2.7.3/etc/hadoop

$ vi slaves

添加新加入的节点信息

slave4

slave5

$ for ip in 2 3 4 5;do scp /data1/usr/hadoop-2.7.3/etc/hadoop/slaves 192.168.11.13$ip:/data1/usr/hadoop-2.7.3/etc/hadoop/;done

拷贝hadoop文件到新节点

$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave4:/data1/usr

$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave5:/data1/usr

4、清空日志

登录到新添加的服务器

$ cd /data1/usr/hadoop-2.7.3/logs

$ rm *.log.*

$ rm *.out.*

$ for i in `find . -name "*.log" -o -name "*.out"`;do cat /dev/null >$i;done

删除其他项目和文件

对比datanode老的节点，把/data1/usr/hadoop-2.7.3下多余的文件和目录删除。

5、启动服务

分别登陆新节点，启动datanode

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./hadoop-daemon.sh start datanode

登陆master1节点，刷新datanode列表

$ cd /data1/usr/hadoop-2.7.3/bin

$ ./hdfs dfsadmin -refreshNodes

查看列表信息

$ ./hdfs dfsadmin -report

8、对hdfs负载均衡

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./start-balancer.sh 

启动yarn

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./yarn-daemon.sh start nodemanager   

查看集群情况

$ cd /data1/usr/hadoop-2.7.3/bin

$ yarn rmadmin -refreshNodes

$ ./yarn node -list

二、hbase扩容

1、登陆master1，修改配置文件

$ cd /data1/usr/hbase-1.2.4/conf

$ vi regionservers 

添加新节点主机

slave4

slave5

$ for ip in 2 3 4 5;do scp /data1/usr/hbase-1.2.4/conf/regionservers 192.168.11.13$ip:/data1/usr/hbase-1.2.4/etc/hadoop/;done

登陆新节点，创建目录，修改权限

2、拷贝hbase文件到新节点

登陆master1节点

$ scp -rpq /data1/usr/hbase-1.2.4 hduser@192.168.11.136:/data 

$ scp -rpq /data1/usr/hbase-1.2.4 hduser@192.168.11.137:/data

清理日志

$ cd /data1/usr/hbase-1.2.4/logs

$ rm *.out.*

$ >hbase-hduser-master-master1.log

$ >hbase-hduser-master-master1.out

3、登陆新节点，启动服务

$ cd /data1/usr/hbase-1.2.4/bin

$ ./hbase-daemon.sh start regionserver

$ ./hbase shell

status 

hadoop及hbase集群增加节点

标签：inux   stat   admin   host   sbin   无密码登陆   play   logs   mon   

原文地址：http://blog.51cto.com/xiaoxiaozhou/2138807