Hadoop2.x搭建HA(高可用)机制的集群

标签：

之前有朋友问如何搭建一个更为稳定、数据更为安全、执行效率更高的Hadoop集群，其实搭建一个HA机制的集群就能满足这些需求。

所以就以前的工作上的一些经验和总结来和大家介绍一下什么是高可用的Hadoop集群，以及如何把这个高可用的Hadoop集群搭建起来

1、什么是HA机制

　　1.1、Hadoop-HA集群运作机制介绍

　　　　所谓HA，即高可用（7*24小时不中断服务）实现高可用最关键的是消除单点故障，Hadoop-ha严格来说应该分成各个组件的HA机制 

　　1.2、HDFS的HA机制

　　　　通过双namenode消除单点故障

　　　　　　双namenode协调工作的要点：

    　　　　　　（1）、元数据管理方式需要改变：

   　　　　　　　　内存中各自保存一份元数据

    　　　　 　　　 Edits日志只能有一份，只有Active状态的namenode节点可以做写操作

   　　　　　　　　两个namenode都可以读取edits

    　　　　　 　　 共享的edits放在一个共享存储中管理（qjournal和NFS两个主流实现）

    　　　　　　（2）、需要一个状态管理功能模块

    　　　　　　　 实现了一个zkfailover，常驻在每一个namenode所在的节点

    　　　　　 　　每一个zkfailover负责监控自己所在的namenode节点，利用zk进行状态标识

    　　　　　　　 当需要进行状态切换时，由zkfailover来负责切换

    　　　　　　　 切换时需要防止brain split现象的发生

　　1.3、Hadoop-HA集群运作机制图解（图片源于网络）

　　　　图1.3-1 Hadoop-HA集群运作机制图

2、HA集群的安装部署

　　2.1、前期准备

　　　　我在这里准备了10台机器进行这次集群的安装部署演示，集群部署节点角色(10节点)规划如下：

　　　　　　　　　　　　　　　　表2.1-1集群部署节点角色规划表

　　集群部署节点角色规划说明：　

　　　　（1）在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，

　　　　　　而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。

　　　　　　hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中

　　　　　　主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode

　　　　　　这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby

　　　　　　 NameNode为standby状态

　　　（2）hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，有两个ResourceManager

　　　　　一个是Active，一个是Standby，状态由zookeeper进行协调

　　2.2、环境准备

　　　　（1）修改Linux主机名
　　　　（2）修改IP
　　　　（3）修改主机名和IP的映射关系 （vi /etc/hosts）
　　　　（4）关闭防火墙
　　　　（5）ssh免登陆
　　　　（6）安装JDK，配置环境变量

　　注意：如果公司是租用的服务器或是使用的云主机（如华为云主机、阿里云主机等），/etc/hosts里面要配置的是内网IP地址和主机名的映射关系 

　　2.3、安装步骤：

　　　　（1）安装配置zooekeeper集群（在hanode-08上）
　　　　　　A、解压
　　　　　　　　tar -zxvf zookeeper-3.4.5.tar.gz -C /home/hadoop/app/
　　　　　　B、修改配置
　　　　　　　　cd /home/hadoop/app/zookeeper-3.4.5/conf/
　　　　　　　　mv zoo_sample.cfg zoo.cfg
　　　　　　　　vi zoo.cfg
　　　　　　　　修改：dataDir=/home/hadoop/app/zookeeper-3.4.5/tmp
　　　　　　　　在最后添加：
　　　　　　　　　　server.1=hanode-08:2888:3888
　　　　　　　　　　server.2=hanode-09:2888:3888
　　　　　　　　　　server.3=hanode-10:2888:3888
　　　　　　C、保存退出
　　　　　　D、然后创建一个tmp文件夹
　　　　　　　　mkdir /home/hadoop/app/zookeeper-3.4.5/tmp
　　　　　　　　echo 1 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid
　　　　　　E、将配置好的zookeeper拷贝到其他节点
　　　　　　　　scp -r /home/hadoop/app/zookeeper-3.4.5/ hanode-09:/home/hadoop/app/
　　　　　　　　scp -r /home/hadoop/app/zookeeper-3.4.5/ hanode-10:/home/hadoop/app/

　　　　　　　　注意：修改hanode-09、hanode-10对应/home/hadoop/app/zookeeper-3.4.5/tmp/myid内容
　　　　　　　　　　hanode-09：
　　　　　　　　　　　　echo 2 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid
　　　　　　　　　　hanode-10：
　　　　　　　　　　　　echo 3 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid

　　　　（2）安装配置hadoop集群（在hanode-01上操作）
　　　　　　A、解压
　　　　　　　　tar -zxvf hadoop-2.4.1.tar.gz -C /home/hadoop/app/
　　　　　　B、配置HDFS
　　　　　　　　将hadoop添加到环境变量中
　　　　　　　　　　vi/etc/profile
　　　　　　　　　　export JAVA_HOME=/home/hadoop/app/jdk1.7.0_55
　　　　　　　　　　export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
　　　　　　　　　　export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

　　　　　　C、hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
　　　　　　　　cd /home/hadoop/app/hadoop-2.4.1/etc/hadoop

　　　　　　　　　　修改hadoo-env.sh
　　　　　　　　　　export JAVA_HOME=/home/hadoop/app/jdk1.7.0_55

　　　　　　D、修改core-site.xml
　　　　　　　　<configuration>
　　　　　　　　　　<!-- 指定hdfs的nameservice为ns1 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>fs.defaultFS</name>
　　　　　　　　　　<value>hdfs://ns1/</value>
　　　　　　　　　　</property>
　　　　　　　　　　<!-- 指定hadoop临时目录 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　　　　　<value>/home/hadoop/app/hadoop-2.4.1/tmp</value>
　　　　　　　　　　</property>

　　　　　　　　　　<!-- 指定zookeeper地址 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>ha.zookeeper.quorum</name>
　　　　　　　　　　<value>hanode-08:2181,hanode-09:2181,hanode-10:2181</value>
　　　　　　　　　　</property>
　　　　　　　　</configuration>

　　　　（3）修改hdfs-site.xml
　　　　　　　　<configuration>
　　　　　　　　　　<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>dfs.nameservices</name>
　　　　　　　　　　<value>ns1</value>
　　　　　　　　　　</property>
　　　　　　　　　　<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>dfs.ha.namenodes.ns1</name>
　　　　　　　　　　<value>nn1,nn2</value>
　　　　　　　　　　</property>
　　　　　　　　　　<!-- nn1的RPC通信地址 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>dfs.namenode.rpc-address.ns1.nn1</name>
　　　　　　　　　　<value>hanode-01:9000</value>
　　　　　　　　　　</property>
　　　　　　　　　　<!-- nn1的http通信地址 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>dfs.namenode.http-address.ns1.nn1</name>
　　　　　　　　　　<value>hanode-01:50070</value>
　　　　　　　　　　</property>
　　　　　　　　　　<!-- nn2的RPC通信地址 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>dfs.namenode.rpc-address.ns1.nn2</name>
　　　　　　　　　　<value>hanode-02:9000</value>
　　　　　　　　　　</property>
　　　　　　　　　　<!-- nn2的http通信地址 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>dfs.namenode.http-address.ns1.nn2</name>
　　　　　　　　　　<value>hanode-02:50070</value>
　　　　　　　　　　</property>
　　　　　　　　　　<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>dfs.namenode.shared.edits.dir</name>
　　　　　　　　　　<value>qjournal://hanode-08:8485;hanode-09:8485;hanode-10:8485/ns1</value>
　　　　　　　　　　</property>
　　　　　　　　　　<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>dfs.journalnode.edits.dir</name>
　　　　　　　　　　<value>/home/hadoop/app/hadoop-2.4.1/journaldata</value>
　　　　　　　　　　</property>
　　　　　　　　　　<!-- 开启NameNode失败自动切换 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>dfs.ha.automatic-failover.enabled</name>
　　　　　　　　　　<value>true</value>
　　　　　　　　　　</property>
　　　　　　　　　　<!-- 配置失败自动切换实现方式 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>dfs.client.failover.proxy.provider.ns1</name>
　　　　　　　　　　<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
　　　　　　　　　　</property>
　　　　　　　　　　<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
　　　　　　　　　　<property>
　　　　　　　　　　<name>dfs.ha.fencing.methods</name>
　　　　　　　　　　<value>
　　　　　　　　　　sshfence
　　　　　　　　　　shell(/bin/true)
　　　　　　　　　　</value>
　　　　　　　　　　</property>
　　　　　　　　　　<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>dfs.ha.fencing.ssh.private-key-files</name>
　　　　　　　　　　<value>/home/hadoop/.ssh/id_rsa</value>
　　　　　　　　　　</property>
　　　　　　　　　　<!-- 配置sshfence隔离机制超时时间 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>dfs.ha.fencing.ssh.connect-timeout</name>
　　　　　　　　　　<value>30000</value>
　　　　　　　　　　</property>
　　　　　　　　　　</configuration>

　　　　（4）修改mapred-site.xml
　　　　　　　　<configuration>
　　　　　　　　　　<!-- 指定mr框架为yarn方式 -->
　　　　　　　　　　<property>
　　　　　　　　　　<name>mapreduce.framework.name</name>
　　　　　　　　　　<value>yarn</value>
　　　　　　　　　　</property>
　　　　　　　　　　</configuration>

　　　　（5）修改yarn-site.xml
　　　　　　　　<configuration>
　　　　　　　　<!-- 开启RM高可用 -->
　　　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.ha.enabled</name>
　　　　　　　　<value>true</value>
　　　　　　　　</property>
　　　　　　　　<!-- 指定RM的cluster id -->
　　　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.cluster-id</name>
　　　　　　　　<value>yrc</value>
　　　　　　　　</property>
　　　　　　　　<!-- 指定RM的名字 -->
　　　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.ha.rm-ids</name>
　　　　　　　　<value>rm1,rm2</value>
　　　　　　　　</property>
　　　　　　　　<!-- 分别指定RM的地址 -->
　　　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.hostname.rm1</name>
　　　　　　　　<value>hanode-03</value>
　　　　　　　　</property>
　　　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.hostname.rm2</name>
　　　　　　　　<value>hanode-04</value>
　　　　　　　　</property>
　　　　　　　　<!-- 指定zk集群地址 -->
　　　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.zk-address</name>
　　　　　　　　<value>hanode-08:2181,hanode-09:2181,hanode-10:2181</value>
　　　　　　　　</property>
　　　　　　　　<property>
　　　　　　　　<name>yarn.nodemanager.aux-services</name>
　　　　　　　　<value>mapreduce_shuffle</value>
　　　　　　　　</property>
　　　　　　　　</configuration>

　　　　（6）修改slaves

　　　　　　　　slaves是指定子节点的位置，因为要在hanode-01上启动HDFS、在hanode-03启动yarn，所以hanode-01上的slaves文件指定的是datanode的位置

　　　　　　　　　　hanode-05
　　　　　　　　　　hanode-06
　　　　　　　　　　hanode-07

　　　　（7）配置免密码登陆
　　　　　　　　首先要配置hanode-01到所有的免密码登陆
　　　　　　　　　　在hdp-ha-cluster-node01上生产一对钥匙
　　　　　　　　　　　　ssh-keygen -t rsa
　　　　　　　　将公钥拷贝到其他节点，包括自己
　　　　　　　　　　　　ssh-copy-id hanode-01
　　　　　　　　　　　　ssh-copy-id hanode-02
　　　　　　　　　　　　ssh-copy-id hanode-03
　　　　　　　　　　　　.........

　　　　　　　　　　　　ssh-copy-id hanode-10

　　　　　　　　配置hanode-03到hanode-04、hanode-05、hanode-06、hanode-07的免密码登陆
　　　　　　　　　　在hanode-03上生产一对钥匙
　　　　　　　　　　　　ssh-keygen -t rsa
　　　　　　　　　　将公钥拷贝到其他节点
　　　　　　　　　　　　ssh-copy-id hanode-04
　　　　　　　　　　　　ssh-copy-id hanode-05
　　　　　　　　　　　　ssh-copy-id hanode-06
　　　　　　　　　　　　ssh-copy-id hanode-07
　　　　　　　　注意：两个namenode之间要配置ssh免密码登陆，别忘了配置hanode-02到hanode-01的免登陆
　　　　　　　　　　在hanode-02上生产一对钥匙
　　　　　　　　　　　　ssh-keygen -t rsa
　　　　　　　　　　　　ssh-copy-id hanode-01

　　　　（8）将配置好的hadoop拷贝到其他节点
　　　　　　　　scp -r /home/hadoop/app/hadoop-2.4.1 hanode-02:/home/hadoop/app/
　　　　　　　　scp -r /home/hadoop/app/hadoop-2.4.1 hanode-03:/home/hadoop/app/
　　　　　　　　scp -r /home/hadoop/app/hadoop-2.4.1 hanode-04:/home/hadoop/app/
　　　　　　　　..........
　　　　　　　　scp -r /home/hadoop/app/hadoop-2.4.1 hanode-10:/home/hadoop/app/
　　　　　　　
　　　　（9）启动（注意：严格按照下面的步骤）
　　　　　　　　A、启动zookeeper集群（分别在hanode-08、hanode-09、hanode-10上启动zk）
　　　　　　　　　　cd /home/hadoop/app/hadoop-2.4.1/bin/
　　　　　　　　　　./zkServer.sh start
　　　　　　　　　　查看状态：一个leader，两个follower
　　　　　　　　　　./zkServer.sh status

　　　　　　　　B、手动启动journalnode（分别在hanode-08、hanode-09、hanode-10上执行）
　　　　　　　　　　cd /weekend/hadoop-2.4.1
　　　　　　　　　　sbin/hadoop-daemon.sh start journalnode
　　　　　　　　　　运行jps命令检验，hanode-08、hanode-09、hanode-10上多了JournalNode进程

　　　　（10）格式化HDFS
　　　　　　　　A、在hanode-01上执行命令:
　　　　　　　　　　hdfs namenode -format
　　　　　　　　　　　　格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/home/hadoop/app/hadoop-2.4.1/tmp，

　　　　　　　　　　　　然后将hadoop-2.4.1/tmp拷贝到hanode-02的hadoop-2.4.1/下。
　　　　　　　　　　　　　　scp -r /home/hadoop/app/hadoop-2.4.1/tmp hanode-02:/home/hadoop/app/hadoop-2.4.1/
　　　　　　　　　　也可以这样：hdfs namenode -bootstrapStandby

　　　　（11）格式化ZKFC(在hanode-01上执行即可)
　　　　　　　　A、hdfs zkfc -formatZK

　　　　（12）启动HDFS(在hanode-01上执行)
　　　　　　　　A、sbin/start-dfs.sh

　　　　（13）启动YARN

　　　　　　　　注意：是在hanode-03上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，

　　　　　　　　所以把他们分开了，他们分开了就要分别在不同的机器上启动
　　　　　　　　　　sbin/start-yarn.sh

3、到此，hadoop-2.4.1配置完毕，可以通过浏览器访问:　　　　

　　　http://192.168.1.21:50070
　　　　　NameNode： ‘hanode-01:9000‘ (状态：active)

　　　　　　　　图3-1 查看namenode active状态图

　　　http://192.168.1.22:50070
　　　　　NameNode： ‘hanode-02:9000‘ (状态：standby)

　　　　　　　　图3-2 查看namenode standby状态图

4、测试集群的高可用性

　　（1）、验证HDFS HA　　　　

　　　　A、首先向hdfs上传一个文件
　　　　　　hadoop fs -put /data/test.txt
　　　　　　hadoop fs -ls /
　　　　B、然后再kill掉active的NameNode
　　　　　　kill -9 <pid of NN>
　　　　C、通过浏览器访问：http://192.168.1.22:50070
　　　　　　NameNode ‘hanode-02:9000‘ (active)
　　　　　　这个时候hanode-02上的NameNod状态变成了active
　　　　D、在执行命令：
　　　　　　hadoop fs -ls /
　　　　　　　　-rw-r--r-- 3 root supergroup 1926 2014-02-06 15:36 /profile
　　　　　　刚才上传的文件依然存在！！！
　　　　E、手动启动那个挂掉的NameNode
　　　　　　sbin/hadoop-daemon.sh start namenode
　　　　　　　　通过浏览器访问：http://192.168.1.21:50070
　　　　　　　　　　NameNode ‘hanode-01:9000‘ (standby)

　　（2）、验证YARN

　　　　A、运行一下hadoop提供的的计算圆周率PI的值的程序：

　　　　　　hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar pi 6 6

　　　　　　测试结果如下图：

　　　　　　　　　　图4-1 hadoop提供mapreduce的计算圆周率PI的值图

5、到此为止，一个HA(高可用)的hadoop2.x集群就搭建完毕，还有一些测试集群工作状态的一些指令需要熟悉：

　　 查看hdfs的各节点状态信息  bin/hdfs dfsadmin -report

　　 获取一个namenode节点的HA状态  bin/hdfs haadmin -getServiceState nn1

　    单独启动一个namenode进程  sbin/hadoop-daemon.sh start namenode

　　 单独启动一个zkfc进程  ./hadoop-daemon.sh start zkfc

以上就是一个完整的HA（高可用）的Hadoop2.x集群的介绍和搭建过程，其中也有我在工作中的一些经验的总结，希望能够给想要了解Hadoop2.x集群中的HA（高可用）机制的朋友们一些帮助，不足之处也欢迎大家指正。

（原创博文，请勿转载）

Hadoop2.x搭建HA(高可用)机制的集群

标签：

原文地址：http://www.cnblogs.com/Johnnydujiang/p/5014906.html