标签：
注：未完待续……持续更新中……
目录
一、Vmware网络模式介绍
参考：http://blog.csdn.net/collection4u/article/details/14127671
二、NAT模式配置
NAT是网络地址转换，是在宿主机和虚拟机之间增加一个地址转换服务，负责外部和虚拟机之间的通讯转接和IP转换。
我们部署Hadoop集群，这里选择NAT模式，各个虚拟机通过NAT使用宿主机的IP来访问外网。
我们的要求是集群中的各个虚拟机有固定的IP、可以访问外网，所以进行如下设置：
1、 Vmware安装后，默认的NAT设置如下：
2、 默认的设置是启动DHCP服务的，NAT会自动给虚拟机分配IP，但是我们需要将各个机器的IP固定下来，所以要取消这个默认设置。
3、 为机器设置一个子网网段，默认是192.168.136网段，我们这里设置为100网段，将来各个虚拟机Ip就为 192.168.100.*。
4、 点击NAT设置按钮，打开对话框，可以修改网关地址和DNS地址。这里我们为NAT指定DNS地址。
5、 网关地址为当前网段里的.2地址，好像是固定的，我们不做修改，先记住网关地址就好了，后面会用到。
第二步、安装Linux操作系统
三、Vmware上安装Linux系统
1、 文件菜单à新建虚拟机
2、 选择经典类型安装，下一步。
3、 选择稍后安装操作系统，下一步。
4、 选择Linux系统，版本选择CentOS 64位。
5、 命名虚拟机，给虚拟机起个名字，将来显示在Vmware左侧。并选择Linux系统保存在宿主机的哪个目录下，应该一个虚拟机保存在一个目录下，不能多个虚拟机使用一个目录。
6、 指定磁盘容量，是指定分给Linux虚拟机多大的硬盘，默认20G就可以，下一步。
7、 点击自定义硬件，可以查看、修改虚拟机的硬件配置，这里我们不做修改。
8、 点击完成后，就创建了一个虚拟机，但是此时的虚拟机还是一个空壳，没有操作系统，接下来安装操作系统。
9、 点击编辑虚拟机设置，找到DVD，指定操作系统ISO文件所在位置。
10、 点击开启此虚拟机，选择第一个回车开始安装操作系统。
11、 设置root密码
12、 选择Desktop，这样就会装一个Xwindow。
13、 先不添加普通用户，其他用默认的，就把Linux安装完毕了。
因为Vmware的NAT设置中关闭了DHCP自动分配IP功能，所以Linux还没有IP，需要我们设置网络各个参数。
1、 用root进入Xwindow，右击右上角的网络连接图标，选择修改连接。
2、 网络连接里列出了当前Linux里所有的网卡，这里只有一个网卡System eth0，点击编辑。
3、 配置IP、子网掩码、网关（和NAT设置的一样）、DNS等参数，因为NAT里设置网段为100.*，所以这台机器可以设置为192.168.100.10网关和NAT一致，为192.168.100.2
4、 用ping来检查是否可以连接外网，如下图，已经连接成功。
1、 临时修改hostname
[root@localhost Desktop]# hostname bigdata-senior01.chybinmy.com
这种修改方式，系统重启后就会失效。
2、 永久修改hostname
想永久修改，应该修改配置文件 /etc/sysconfig/network。
命令：[root@bigdata-senior01 ~] vim /etc/sysconfig/network
打开文件后，
NETWORKING=yes #使用网络
HOSTNAME=bigdata-senior01.chybinmy.com #设置主机名
命令：[root@bigdata-senior01 ~] vim /etc/hosts
添加hosts: 192.168.100.10 bigdata-senior01.chybinmy.com
学习环境可以直接把防火墙关闭掉。
(1) 用root用户登录后，执行查看防火墙状态。
[root@bigdata-senior01 hadoop]# service iptables status
(2) 用[root@bigdata-senior01 hadoop]# service iptables stop关闭防火墙，这个是临时关闭防火墙。
|
[root@bigdata-senior01 hadoop-2.5.0]# service iptables stop iptables: Setting chains to policy ACCEPT: filter [ OK ] iptables: Flushing firewall rules: [ OK ] iptables: Unloading modules: [ OK ] |
(3) 如果要永久关闭防火墙用
[root@bigdata-senior01 hadoop]# chkconfig iptables off关闭，这种需要重启才能生效。
selinux是Linux一个子安全机制，学习环境可以将它禁用
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim /etc/sysconfig/selinux
|
# This file controls the state of SELinux on the system. # SELINUX= can take one of these three values: # enforcing - SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. SELINUX=disabled # SELINUXTYPE= can take one of these two values: # targeted - Targeted processes are protected, # mls - Multi Level Security protection. SELINUXTYPE=targeted |
1、 查看是否已经安装了java JDK。
[root@bigdata-senior01 Desktop]# java –version
注意：Hadoop机器上的JDK，最好是Oracle的Java JDK，不然会有一些问题，比如可能没有JPS命令。
如果安装了其他版本的JDK，卸载掉。
2、 安装java JDK
(1) 去下载Oracle版本Java JDK：jdk-7u67-linux-x64.tar.gz
(2) 将jdk-7u67-linux-x64.tar.gz解压到/opt/modules目录下
[root@bigdata-senior01 /]# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules
(3) 添加环境变量
设置JDK的环境变量 JAVA_HOME。需要修改配置文件/etc/profile，追加
export JAVA_HOME="/opt/modules/jdk1.7.0_67"
export PATH=$JAVA_HOME/bin:$PATH
修改完毕后，执行 source /etc/profile
(4)安装后再次执行 java –version,可以看见已经安装完成。
[root@bigdata-senior01 /]# java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)
第四步、Hadoop部署模式
Hadoop部署模式有：本地模式、伪分布模式、完全分布式模式、HA完全分布式模式。
区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。
|
模式名称 |
各个模块占用的JVM进程数 |
各个模块运行在几个机器数上 |
|
本地模式 |
1个 |
1个 |
|
伪分布式模式 |
N个 |
1个 |
|
完全分布式模式 |
N个 |
N个 |
|
HA完全分布式 |
N个 |
N个 |
本地模式是最简单的模式，所有模块都运行与一个JVM进程中，使用的本地文件系统，而不是HDFS，本地模式主要是用于本地开发过程中的运行调试用。下载hadoop安装包后不用任何设置，默认的就是本地模式。
十一、解压hadoop后就是直接可以使用
1、 创建一个存放本地模式hadoop的目录
[hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopstandalone
2、 解压hadoop文件
[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopstandalone/
3、 确保JAVA_HOME环境变量已经配置好
[hadoop@bigdata-senior01 modules]$ echo ${JAVA_HOME}
/opt/modules/jdk1.7.0_67
十二、运行MapReduce程序，验证
我们这里用hadoop自带的wordcount例子来在本地模式下测试跑mapreduce。
1、 准备mapreduce输入文件wc.input
|
[hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input hadoop mapreduce hive hbase spark storm sqoop hadoop hive spark hadoop |
2、 运行hadoop自带的mapreduce Demo
[hadoop@bigdata-senior01 hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2
这里可以看到job ID中有local字样，说明是运行在本地模式下的。
3、 查看输出文件
本地模式下，mapreduce的输出是输出到本地。
|
[hadoop@bigdata-senior01 hadoopstandalone]$ ll output2 total 4 -rw-r--r-- 1 hadoop hadoop 60 Jul 7 12:50 part-r-00000 -rw-r--r-- 1 hadoop hadoop 0 Jul 7 12:50 _SUCCESS |
输出目录中有_SUCCESS文件说明JOB运行成功，part-r-00000是输出结果文件。
第六步、伪分布式Hadoop部署过程
十三、Hadoop所用的用户设置
1、 创建一个名字为hadoop的普通用户
[root@bigdata-senior01 ~]# useradd hadoop
[root@bigdata-senior01 ~]# passwd hadoop
2、 给hadoop用户sudo权限
[root@bigdata-senior01 ~]# vim /etc/sudoers
设置权限，学习环境可以将hadoop用户的权限设置的大一些，但是生产环境一定要注意普通用户的权限限制。
root ALL=(ALL) ALL
hadoop ALL=(root) NOPASSWD:ALL
注意：如果root用户无权修改sudoers文件，先手动为root用户添加写权限
[root@bigdata-senior01 ~]# chmod u+w /etc/sudoers
3、 切换到hadoop用户
[root@bigdata-senior01 ~]# su - hadoop
[hadoop@bigdata-senior01 ~]$
4、 创建存放hadoop文件的目录
[hadoop@bigdata-senior01 ~]$ sudo mkdir /opt/modules
5、 将hadoop文件夹的所有者指定为hadoop用户
如果存放hadoop的目录的所有者不是hadoop，之后hadoop运行中可能会有权限问题，那么就讲所有者改为hadoop。
[hadoop@bigdata-senior01 ~]# sudo chown -R hadoop:hadoop /opt/modules
十四、解压Hadoop目录文件
1、 复制hadoop-2.5.0.tar.gz到/opt/modules目录下。
2、 解压hadoop-2.5.0.tar.gz
[hadoop@bigdata-senior01 ~]# cd /opt/modules
[hadoop@bigdata-senior01 hadoop]# tar -zxvf hadoop-2.5.0.tar.gz
1、 配置Hadoop环境变量
[hadoop@bigdata-senior01 hadoop]# vim /etc/profile
追加配置：
export HADOOP_HOME="/opt/modules/hadoop-2.5.0"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
执行：source /etc/profile 使得配置生效
验证HADOOP_HOME参数：
[hadoop@bigdata-senior01 /]$ echo $HADOOP_HOME
/opt/modules/hadoop-2.5.0
2、 配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh文件的JAVA_HOME参数
[hadoop@bigdata-senior01 ~]$ sudo vim ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
修改JAVA_HOME参数为：
export JAVA_HOME="/opt/modules/jdk1.7.0_67"
3、 配置core-site.xml
[hadoop@bigdata-senior01 ~]$ sudo vim ${HADOOP_HOME}/etc/hadoop/core-site.xml
（1） fs.defaultFS参数配置的是HDFS的地址。
|
<property> <name>fs.defaultFS</name> <value>hdfs://bigdata-senior01.chybinmy.com:8020</value> </property> |
（2） hadoop.tmp.dir配置的是Hadoop临时目录，比如HDFS的NameNode数据默认都存放这个目录下，查看*-default.xml等默认配置文件，就可以看到很多依赖${hadoop.tmp.dir}的配置。
默认的hadoop.tmp.dir是/tmp/hadoop-${user.name},此时有个问题就是NameNode会将HDFS的元数据存储在这个/tmp目录下，如果操作系统重启了，系统会清空/tmp目录下的东西，导致NameNode元数据丢失，是个非常严重的问题，所有我们应该修改这个路径。
l 创建临时目录：
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo mkdir -p /opt/data/tmp
l 将临时目录的所有者修改为hadoop
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown –R hadoop:hadoop /opt/data/tmp
l 修改hadoop.tmp.dir
|
<property> <name>hadoop.tmp.dir</name> <value>/opt/data/tmp</value> </property> |
1、 配置hdfs-site.xml
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml
|
<property> <name>dfs.replication</name> <value>1</value> </property> |
dfs.replication配置的是HDFS存储时的备份数量，因为这里是伪分布式环境只有一个节点，所以这里设置为1。
2、 格式化HDFS
[hadoop@bigdata-senior01 ~]$ hdfs namenode –format
格式化是对HDFS这个分布式文件系统中的DataNode进行分块，统计所有分块后的初始元数据的存储在NameNode中。
格式化后，查看core-site.xml里hadoop.tmp.dir（本例是/opt/data目录）指定的目录下是否有了dfs目录，如果有，说明格式化成功。
注意：
（1） 格式化时，这里注意hadoop.tmp.dir目录的权限问题，应该hadoop普通用户有读写权限才行，可以将/opt/data的所有者改为hadoop。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown -R hadoop:hadoop /opt/data
（2） 查看NameNode格式化后的目录
[hadoop@bigdata-senior01 ~]$ ll /opt/data/tmp/dfs/name/current
fsimage是NameNode元数据在内存满了后，持久化保存到的文件。
fsimage*.md5 是校验文件，用于校验fsimage的完整性。
seen_txid 是hadoop的版本
vession文件里保存：
l namespaceID：NameNode的唯一ID。
l clusterID:集群ID，NameNode和DataNode的集群ID应该一致，表明是一个集群。
|
#Mon Jul 04 17:25:50 CST 2016 namespaceID=2101579007 clusterID=CID-205277e6-493b-4601-8e33-c09d1d23ece4 cTime=0 storageType=NAME_NODE blockpoolID=BP-1641019026-127.0.0.1-1467624350057 layoutVersion=-57 |
3、 启动NameNode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-namenode-bigdata-senior01.chybinmy.com.out
4、 启动DataNode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-datanode-bigdata-senior01.chybinmy.com.out
5、 启动SecondaryNameNode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode
starting secondarynamenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-secondarynamenode-bigdata-senior01.chybinmy.com.out
6、 JPS命令查看是否已经启动成功，有结果就是启动成功了。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
3034 NameNode
3233 Jps
3193 SecondaryNameNode
3110 DataNode
7、 HDFS上测试创建目录、上传、下载文件
(1) HDFS上创建目录
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1
(2) 上传本地文件到HDFS上
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1
(3) 读取HDFS上的文件内容
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xml
(4) 从HDFS上下载文件到本地
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -get /demo1/core-site.xml .
8、 Web页面查看HDFS
HDFS的Web页面端口号为50070，通过http://192.168.100.10:50070可以查看。
如果不能访问，看服务器的防火墙是否打开着，学习环境，可以直接把防火墙关闭。
1、 配置mapred-site.xml
默认没有mapred-site.xml文件，但是有个mapred-site.xml.template配置模板文件。复制模板生成mapred-site.xml。
[hadoop@bigdata-senior01 hadoop-2.5.0]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
添加配置如下：
|
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> |
指定mapreduce运行在yarn框架上。
2、 配置yarn-site.xml
添加配置如下：
|
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>bigdata-senior01.chybinmy.com</value> </property> |
(1) yarn.nodemanager.aux-services配置了yarn的默认混洗方式，选择为mapreduce的默认混洗算法。
(2) yarn.resourcemanager.hostname指定了Resourcemanager运行在哪个节点上。
3、 启动Resourcemanager
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager
4、 启动nodemanager
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager
5、 查看是否启动成功
|
[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps 3034 NameNode 4439 NodeManager 4197 ResourceManager 4543 Jps 3193 SecondaryNameNode 3110 DataNode |
可以看到ResourceManager、NodeManager已经启动成功了。
6、 YARN的Web页面
YARN的Web客户端端口号是8088，通过http://192.168.100.10:8088/可以查看。
在Hadoop的share目录里，自带了一些jar包，里面带有一些mapreduce实例小例子，位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar，可以运行这些例子体验刚搭建好的Hadoop平台，我们这里来运行最经典的WordCount实例。
1、 创建测试用的Input文件
(1) 创建输入目录
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /wordcountdemo/input
(2) 创建原始文件
在本地/opt/data目录创建一个文件wc.input,内容如下：
(3) 将wc.input文件上传到HDFS的/wordcountdemo/input目录中
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /wordcountdemo/input
2、 运行WordCount MapReduce Job
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output
3、 查看输出结果目录
|
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /wordcountdemo/output -rw-r--r-- 1 hadoop supergroup 0 2016-07-05 05:12 /wordcountdemo/output/_SUCCESS -rw-r--r-- 1 hadoop supergroup 60 2016-07-05 05:12 /wordcountdemo/output/part-r-00000 |
(1) output目录中有两个文件，_SUCCESS文件是空文件，有这个文件说明Job执行成功。
(2) part-r-00000文件是结果文件，其中-r-说明这个文件是Reduce阶段产生的结果，mapreduce程序执行时，可以没有reduce阶段，但是肯定会有map阶段，如果没有reduce阶段这个地方有是-m-。
(3) 一个reduce会产生一个part-r-开头的文件。
4、 查看输出文件内容
|
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -cat /wordcountdemo/output/part-r-00000 hadoop 3 hbase 1 hive 2 mapreduce 1 spark 2 sqoop 1 storm 1 |
结果是按照键值排好序的。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode
stopping namenode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode
stopping datanode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop resourcemanager
stopping resourcemanager
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager
二十、 Hadoop各个功能模块的理解
1、 HDFS模块
HDFS负责大数据的存储，通过将大文件分块后进行分布式存储方式，突破了服务器硬盘大小的限制，解决了单台机器无法存储大文件的问题，HDFS是个相对独立的模块，可以为YARN提供服务，也可以为HBase等其他模块提供服务。
2、 YARN模块
YARN是一个通用的资源协同和任务调度框架，是为了解决Hadoop1.x中MapReduce里NameNode负载太大和其他问题而创建的一个框架。
YARN是个通用框架，不止可以运行MapReduce，还可以运行Spark、Storm等其他计算框架。
3、 MapReduce模块
MapReduce是一个计算框架，它给出了一种数据处理的方式，即通过Map阶段、Reduce阶段来分布式地流式处理数据。它只适用于大数据的离线处理，对实时性要求很高的应用不适用。
开启历史服务可以在web页面上查看Yarn上执行job情况的详细信息。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver
二十三、Web查看job执行历史
1、 运行一个mapreduce任务
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output1
2、 job执行中
3、 查看job历史
历史服务器的Web端口默认是19888，可以查看
4、 日志聚集介绍
5、 开启日志聚集
6、 查看日志聚集
1、 克隆虚拟机
(1) Vmware左侧选中要克隆的机器，这里对原有的BigData01机器进行克隆，虚拟机菜单中，选中管理菜单下的克隆命令。
(2) 选择“创建完整克隆”，虚拟机名称为BigData02，选择虚拟机文件保存路径，进行克隆。
(3) 再次克隆一个名为BigData03的虚拟机。
2、 配置网络
(1) 修改网卡名称
在BigData02和BigData03机器上编辑网卡信息。
执行sudo vim /etc/udev/rules.d/70-persistent-net.rules命令。
因为是从BigData01机器克隆来的，所以会保留BigData01的网卡eth0，并且再添加一个网卡eth1。并且eth0的Mac地址和BigData01的地址是一样的，Mac地址不允许相同，所以要删除eth0，只保留eth1网卡，并且要将eth1改名为eth0。
将修改后的eth0的mac地址复制下来，修改network-scripts文件中的HWADDR属性。
sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0
(2) 修改网络参数
BigData02机器IP改为192.168.100.12
BigData03机器IP改为192.168.100.13
3、 配置Hostname
BigData02配置hostname为 bigdata-senior02.chybinmy.com
BigData03配置hostname为 bigdata-senior03.chybinmy.com
4、 配置hosts
BigData01、BigData02、BigData03三台机器hosts都配置为
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo vim /etc/hosts
|
192.168.100.10 bigdata-senior01.chybinmy.com 192.168.100.12 bigdata-senior02.chybinmy.com 192.168.100.13 bigdata-senior03.chybinmy.com |
5、 配置Windows上的SSH客户端
在本地Windows中的SSH客户端上添加对BigData02、BigData03机器的SSH链接。
|
bigdata-senior01.chybinmy.com |
bigdata-senior01.chybinmy.com |
bigdata-senior01.chybinmy.com |
|
NameNode |
ResourceManage |
|
|
DataNode |
DataNode |
DataNode |
|
NodeManager |
NodeManager |
NodeManager |
|
HistoryServer |
|
SecondaryNameNode |
为了和之前BigData01机器上安装伪分布式Hadoop区分开来，我们将BigData01上的Hadoop服务都停止掉，然后在一个新的目录/opt/modules/app下安装另外一个Hadoop。
我们采用先在第一台机器上解压、配置Hadoop，然后再分发到其他两台机器上的方式来安装集群。
6、 解压Hadoop目录
[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/app/
7、 配置Hadoop JDK路径
修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路径
export JAVA_HOME="/opt/modules/jdk1.7.0_67"
8、 配置core-site.xml
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/core-site.xml
|
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://bigdata-senior01.chybinmy.com:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/modules/app/hadoop-2.5.0/data/tmp</value> </property> </configuration> |
fs.defaultFS为NameNode的地址
hadoop.tmp.dir为hadoop临时目录的地址，默认情况下，NameNode和DataNode的数据文件都会存在这个目录下的对应子目录下。应该保证此目录是存在的，如果不存在，先创建。
9、 配置hdfs-site.xml
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/hdfs-site.xml
|
<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>bigdata-senior03.chybinmy.com:50090</value> </property> </configuration> |
dfs.namenode.secondary.http-address是指定secondaryNameNode的http访问地址和端口号，因为在规划中，我们将BigData03规划为SecondaryNameNode服务器，所以这里设置为：bigdata-senior03.chybinmy.com:50090
10、 配置slaves
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/slaves
|
bigdata-senior01.chybinmy.com bigdata-senior02.chybinmy.com bigdata-senior03.chybinmy.com |
slaves文件是指定HDFS上有哪些DataNode节点。
11、 配置yarn-site.xml
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/yarn-site.xml
|
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>bigdata-senior02.chybinmy.com</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>106800</value> </property> |
根据规划yarn.resourcemanager.hostname这个指定resourcemanager服务器指向bigdata-senior02.chybinmy.com
yarn.log-aggregation-enable是配置是否启用日志聚集功能。
yarn.log-aggregation.retain-seconds是配置聚集的日志在HDFS上最多保存多长时间。
12、 配置mapred-site.xml
从mapred-site.xml.template复制一个mapred-site.xml文件
[hadoop@bigdata-senior01 hadoop-2.5.0]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
|
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>bigdata-senior01.chybinmy.com:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>bigdata-senior01.chybinmy.com:19888</value> </property> </configuration> |
mapreduce.framework.name设置mapreduce任务运行在yarn上。
mapreduce.jobhistory.address是设置mapreduce的历史服务器安装在BigData01机器上。
mapreduce.jobhistory.webapp.address是设置历史服务器的web页面地址和端口号。
二十八、设置SSH无密码登录
Hadoop集群中的各个机器间会相互地通过SSH访问，每次访问都输入密码是不现实的，所以要配置各个机器间的SSH是无密码登录的。
1、 在BigData01上生成公钥
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-keygen -t rsa
一路回车，都设置为默认值，然后再当前用户的Home目录下的.ssh目录中会生成公钥文件（id_rsa.pub）和私钥文件（id_rsa）。
2、 分发公钥
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior01.chybinmy.com
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior02.chybinmy.com
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior03.chybinmy.com
3、 设置BigData02、BigData03到其他机器的无密钥登录
同样的在BigData02、BigData03上生成公钥和私钥后，将公钥分发到三台机器上。
1、 首先在其他两台机器上创建存放Hadoop的目录
[hadoop@bigdata-senior02 ~]$ mkdir /opt/modules/app
[hadoop@bigdata-senior03 ~]$ mkdir /opt/modules/app
2、 通过Scp分发
Hadoop根目录下的share/doc目录是存放的hadoop的文档，文件相当大，建议在分发之前将这个目录删除掉，可以节省硬盘空间并能提高分发的速度。
|
doc目录大小有1.6G。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ du -sh /opt/modules/app/hadoop-2.5.0/share/doc 1.6G /opt/modules/app/hadoop-2.5.0/share/doc |
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior02.chybinmy.com:/opt/modules/app
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior03.chybinmy.com:/opt/modules/app
在NameNode机器上执行格式化：
[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/bin/hdfs namenode -format
1、 启动HDFS
[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh
2、 启动YARN
[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-yarn.sh
在BigData02上启动ResourceManager:
[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager
3、 启动日志服务器
因为我们规划的是在BigData03服务器上运行MapReduce日志服务，所以要在BigData03上启动。
|
[hadoop@bigdata-senior03 ~]$ /opt/modules/app/hadoop-2.5.0/sbin/mr-jobhistory-daemon.sh start historyserver starting historyserver, logging to /opt/modules/app/hadoop-2.5.0/logs/mapred-hadoop-historyserver-bigda ta-senior03.chybinmy.com.out [hadoop@bigdata-senior03 ~]$ jps 3570 Jps 3537 JobHistoryServer 3310 SecondaryNameNode 3213 DataNode 3392 NodeManager |
4、 查看HDFS Web页面
http://bigdata-senior01.chybinmy.com:50070/
5、 查看YARN Web 页面
http://bigdata-senior02.chybinmy.com:8088/cluster
我们这里用hadoop自带的wordcount例子来在本地模式下测试跑mapreduce。
1、 准备mapreduce输入文件wc.input
|
[hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input hadoop mapreduce hive hbase spark storm sqoop hadoop hive spark hadoop |
2、 在HDFS创建输入目录input
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /input
3、 将wc.input上传到HDFS
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /input/wc.input
4、 运行hadoop自带的mapreduce Demo
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/wc.input /output
5、 查看输出文件
|
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /output Found 2 items -rw-r--r-- 3 hadoop supergroup 0 2016-07-14 16:36 /output/_SUCCESS -rw-r--r-- 3 hadoop supergroup 60 2016-07-14 16:36 /output/part-r-00000 |
第十步、Zookeeper分布式机器部署
zookeeper是分布式管理协作框架，Hadoop的高可用部署依赖于zookeeper。
zookeeper服务器必须是奇数台，因为zookeeper有选举制度，角色有：领导者、跟随者、观察者，选举的目的是保证集群中数据的一致性。
zookeeper集群中对各个机器的时间有较高要求，必须保证各个机器的时间是同步的，所以要配置时间服务器。
我们这里在BigData01、BigData02、BigData03三台机器上安装zookeeper集群。
1、 解压安装包
在BigData01上安装解压zookeeper安装包。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ tar -zxf /opt/sofeware/zookeeper-3.4.8.tar.gz -C /opt/modules/
2、 修改配置
(1) 拷贝conf下的zoo_sample.cfg副本，改名为zoo.cfg。zoo.cfg是zookeeper的配置文件。
[hadoop@bigdata-senior01 zookeeper-3.4.8]$ cp conf/zoo_sample.cfg conf/zoo.cfg
(2) dataDir属性设置zookeeper的数据文件存放的目录
dataDir=/opt/modules/zookeeper-3.4.8/data/zData
(3) 指定zookeeper集群中各个机器的信息
|
server.1=bigdata-senior01.chybinmy.com:2888:3888 server.2=bigdata-senior02.chybinmy.com:2888:3888 server.3=bigdata-senior03.chybinmy.com:2888:3888 |
server后面的数字范围是1到255，所以一个zookeeper集群最多可以有255个机器。
3、 创建myid文件
在dataDir所指定的目录下创一个名为myid的文件，文件内容为server点后面的数字。
4、 分发到其他机器
[hadoop@bigdata-senior01 zookeeper-3.4.8]$ scp -r /opt/modules/zookeeper-3.4.8 bigdata-senior02.chybinmy.com:/opt/modules
[hadoop@bigdata-senior01 zookeeper-3.4.8]$ scp -r /opt/modules/zookeeper-3.4.8 bigdata-senior03.chybinmy.com:/opt/modules
5、 修改其他机器上的myid文件
|
[hadoop@bigdata-senior02 zookeeper-3.4.8]$ echo 2 > /opt/modules/zookeeper-3.4.8/data/zData/myid [hadoop@bigdata-senior02 zookeeper-3.4.8]$ cat /opt/modules/zookeeper-3.4.8/data/zData/myid 2 |
|
[hadoop@bigdata-senior03 ~]$ echo 3 > /opt/modules/zookeeper-3.4.8/data/zData/myid [hadoop@bigdata-senior03 ~]$ cat /opt/modules/zookeeper-3.4.8/data/zData/myid 3 |
6、 启动zookeeper
需要在各个机器上分别启动zookeeper。
[hadoop@bigdata-senior01 zookeeper-3.4.8]$ bin/zkServer.sh start
[hadoop@bigdata-senior02 zookeeper-3.4.8]$ bin/zkServer.sh start
[hadoop@bigdata-senior03 zookeeper-3.4.8]$ bin/zkServer.sh start
(1) 进入zookeeper Shell
在zookeeper根目录下执行 bin/zkCli.sh进入zk shell模式。
zookeeper很像一个小型的文件系统，/是根目录，下面的所有节点都叫zNode。
(2) 进入zk shell 后输入任意字符，可以列出所有的zookeeper命令
(3) 查询zNode上的数据：get /zookeeper
(4) 创建一个zNode : create /znode1 "demodata "
(5) 列出所有子zNode：ls /
(6) 删除znode : rmr /znode1
(7) 退出shell模式：quit
单NameNode的缺陷存在单点故障的问题，如果NameNode不可用，则会导致整个HDFS文件系统不可用。所以需要设计高可用的HDFS（Hadoop HA）来解决NameNode单点故障的问题。解决的方法是在HDFS集群中设置多个NameNode节点。但是一旦引入多个NameNode，就有一些问题需要解决。
1、 HDFS HA需要保证的四个问题：
（1） 保证NameNode内存中元数据数据一致，并保证编辑日志文件的安全性。
（2） 多个NameNode如何协作
（3） 客户端如何能正确地访问到可用的那个NameNode。
（4） 怎么保证任意时刻只能有一个NameNode处于对外服务状态。
2、 解决方法
（1） 对于保证NameNode元数据的一致性和编辑日志的安全性，采用Zookeeper来存储编辑日志文件。
（2） 对于NameNode如果协作
（3） 客户端通过连接一个Zookeeper的代理来确定当时哪个NameNode处于服务状态。
3、 HDFS HA 架构
三十七、HDFS HA架构图
1、 服务器角色规划
2、 创建HDFS HA 版本Hadoop程序目录
在bigdata01、bigdata02、bigdata03三台机器上分别创建目录/opt/modules/hadoopha/用来存放Hadoop HA环境。
[hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopha
3、 新解压Hadoop 2.5.0
[hadoop@bigdata-senior01 ~]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopha/
4、 配置Hadoop JDK路径
修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路径
export JAVA_HOME="/opt/modules/jdk1.7.0_67"
5、 配置hdfs-site.xml
|
<configuration> <property> <!-- 为namenode集群定义一个services name --> <name>dfs.nameservices</name> <value>ns1</value> </property> <property> <!-- nameservice 包含哪些namenode，为各个namenode起名 --> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property> <property> <!-- 名为nn1的namenode 的rpc地址和端口号，rpc用来和datanode通讯 --> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>bigdata-senior01.chybinmy.com:8020</value> </property> <property> <!-- 名为nn2的namenode 的rpc地址和端口号，rpc用来和datanode通讯 --> <name>dfs.namenode.rpc-address.ns1.nn2</name> <value>bigdata-senior02.chybinmy.com:8020</value> </property> <property> <!--名为nn1的namenode 的http地址和端口号，web客户端 --> <name>dfs.namenode.http-address.ns1.nn1</name> <value>bigdata-senior01.chybinmy.com:50070</value> </property> <property> <!--名为nn2的namenode 的http地址和端口号，web客户端 --> <name>dfs.namenode.http-address.ns1.nn2</name> <value>bigdata-senior02.chybinmy.com:50070</value> </property> <property> <!-- namenode间用于共享编辑日志的journal节点列表 --> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://bigdata-senior01.chybinmy.com:8485;bigdata-senior02.chybinmy.com:8485;bigdata-senior03.chybinmy.com:8485/ns1</value> </property> <property> <!-- journalnode 上用于存放edits日志的目录 --> <name>dfs.journalnode.edits.dir</name> <value>/opt/modules/hadoopha/hadoop-2.5.0/tmp/data/dfs/jn</value> </property> <property> <!-- 客户端连接可用状态的NameNode所用的代理类 --> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <!-- --> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <!-- --> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/hadoop/.ssh/id_rsa</value> </property> </configuration> |
6、 配置core-site.xml
|
<configuration> <property> <!-- hdfs 地址，ha中是连接到nameservice --> <name>fs.defaultFS</name> <value>hdfs://ns1</value> </property> <property> <!-- --> <name>hadoop.tmp.dir</name> <value>/opt/modules/hadoopha/hadoop-2.5.0/data/tmp</value> </property> </configuration> |
hadoop.tmp.dir设置hadoop临时目录地址，默认时，NameNode和DataNode的数据存在这个路径下。
7、 配置slaves文件
|
bigdata-senior01.chybinmy.com bigdata-senior02.chybinmy.com bigdata-senior03.chybinmy.com |
8、 分发到其他节点
分发之前先将share/doc目录删除，这个目录中是帮助文件，并且很大，可以删除。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/hadoopha bigdata-senior02.chybinmy.com:/opt/modules
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/hadoopha bigdata-senior03.chybinmy.com:/opt/modules
9、 启动HDFS HA集群
(1) 三台机器分别启动Journalnode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start journalnode
[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start journalnode
[hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start journalnode
(2) jps命令查看是否启动
10、 启动Zookeeper
在三台节点上启动Zookeeper：
[hadoop@bigdata-senior01 zookeeper-3.4.8]$ bin/zkServer.sh start
[hadoop@bigdata-senior02 zookeeper-3.4.8]$ bin/zkServer.sh start
[hadoop@bigdata-senior03 zookeeper-3.4.8]$ bin/zkServer.sh start
11、 格式化NameNode
(1) 在第一台上进行NameNode格式化
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs namenode -format
(2) 在第二台NameNode上
[hadoop@bigdata-senior02 hadoop-2.5.0]$ bin/hdfs namenode -bootstrapStandby^
12、 启动NameNode
(1) 在第一台、第二台上启动NameNode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
(2) 查看HDFS Web页面，此时两个NameNode都是standby状态。
(3) 切换第一台为active状态
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs haadmin -transitionToActive nn1
此时从web 页面就看到第一台已经是active状态了。
13、 配置故障自动转移
利用zookeeper集群实现故障自动转移，在配置故障自动转移之前，要先关闭集群，不能在HDFS运行期间进行配置。
(1) 关闭NameNode、DataNode、JournalNode、zookeeper
|
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode [hadoop@bigdata-senior01 hadoop-2.5.0]$
sbin/hadoop-daemon.sh stop datanode [hadoop@bigdata-senior01 hadoop-2.5.0]$ cd ../../zookeeper-3.4.8/ [hadoop@bigdata-senior01 zookeeper-3.4.8]$ bin/zkServer.sh stop |
|
[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode [hadoop@bigdata-senior02 hadoop-2.5.0]$
sbin/hadoop-daemon.sh stop datanode [hadoop@bigdata- senior02 hadoop-2.5.0]$ cd ../../zookeeper-3.4.8/ [hadoop@bigdata- senior02 zookeeper-3.4.8]$ bin/zkServer.sh stop |
|
[hadoop@bigdata- senior03 hadoop-2.5.0]$
sbin/hadoop-daemon.sh stop datanode [hadoop@bigdata- senior03 hadoop-2.5.0]$ cd ../../zookeeper-3.4.8/ [hadoop@bigdata- senior03 zookeeper-3.4.8]$ bin/zkServer.sh stop |
(2) 修改hdfs-site.xml
|
<property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> |
(3) 修改core-site.xml
|
<property> <name>ha.zookeeper.quorum</name> <value>bigdata-senior01.chybinmy.com:2181,bigdata-senior02.chybinmy.com:2181,bigdata-senior03.chybinmy.com:2181</value> </property> |
(4) 将hdfs-site.xml和core-site.xml分发到其他机器
|
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/hdfs-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/ [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/hdfs-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/ |
|
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/core-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/ [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/core-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/ |
(5) 启动zookeeper
三台机器启动zookeeper
[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/zookeeper-3.4.8/bin/zkServer.sh start
(6) 创建一个zNode
|
[hadoop@bigdata-senior01 hadoop-2.5.0]$ cd /opt/modules/hadoopha/hadoop-2.5.0/ [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs zkfc -formatZK |
在Zookeeper上创建一个存储namenode相关的节点。
14、 启动HDFS、JournalNode、zkfc
(1) 启动NameNode、DataNode、JournalNode、zkfc
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-dfs.sh
zkfc只针对NameNode监听。
1、 测试故障自动转移和数据是否共享
(1) 在nn1上上传文件
目前bigdata-senior01节点上的NameNode是Active状态的。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /
(2) 将nn1上的NodeNode进程杀掉
[hadoop@bigdata-senior01 hadoop-2.5.0]$ kill -9 3364
nn1上的namenode已经无法访问了。
(3) 查看nn2是否是Active状态
(4) 在nn2上查看是否看见文件
经以上验证，已经实现了nn1和nn2之间的文件同步和故障自动转移。
Hadoop2.4版本之前，ResourceManager也存在单点故障的问题，也需要实现HA来保证ResourceManger的高可也用性。
ResouceManager从记录着当前集群的资源分配情况和JOB的运行状态，YRAN HA 利用Zookeeper来存储这些信息来达到高可用。另外利用Zookeeper来实现ResourceManager自动故障转移。
四十一、YARN HA 架构图
1、 服务器角色规划
2、 修改配置文件yarn-site.xml
|
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>106800</value> </property>
<property> <!-- 启用resourcemanager的ha功能 --> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <!-- 为resourcemanage ha 集群起个id --> <name>yarn.resourcemanager.cluster-id</name> <value>yarn-cluster</value> </property> <property> <!-- 指定resourcemanger ha 有哪些节点名 --> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm12,rm13</value> </property> <property> <!-- 指定第一个节点的所在机器 --> <name>yarn.resourcemanager.hostname.rm12</name> <value>bigdata-senior02.chybinmy.com</value> </property> <property> <!-- 指定第二个节点所在机器 --> <name>yarn.resourcemanager.hostname.rm13</name> <value>bigdata-senior03.chybinmy.com</value> </property> <property> <!-- 指定resourcemanger ha 所用的zookeeper 节点 --> <name>yarn.resourcemanager.zk-address</name> <value>bigdata-senior01.chybinmy.com:2181,bigdata-senior02.chybinmy.com:2181,bigdata-senior03.chybinmy.com:2181</value> </property> <property> <!-- --> <name>yarn.resourcemanager.recovery.enabled</name> <value>true</value> </property> <property> <!-- --> <name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> </property> </configuration> |
3、 分发到其他机器
|
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/ [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/ |
4、 启动
(1) 在bigdata-senior01上启动yarn
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh
(2) 在bigdata-senior02、bigdata-senior03上启动resourcemanager
|
[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager [hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager |
(3) 启动后各个节点的进程
Web客户端访问bigdata02机器上的resourcemanager正常，它是active状态的。
http://bigdata-senior02.chybinmy.com:8088/cluster
访问另外一个resourcemanager，因为他是standby,会自动跳转到active的resourcemanager。
http://bigdata-senior03.chybinmy.com:8088/cluster
5、 运行一个mapreduce job
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wc.input /input
6、 在job运行过程中，将Active状态的resourcemanager进程杀掉
[hadoop@bigdata-senior02 hadoop-2.5.0]$ kill -9 4475
7、 观察另外一个resourcemanager是否可以自动接替
bigdata02的resourcemanage Web客户端已经不能访问，bigdata03的resourcemanage已经自动变为active状态。
8、 观察job是否可以顺利完成
而mapreduce job 也能顺利完成，没有因为resourcemanager的意外故障而影响运行。
经过以上测试，已经验证YARN HA 已经搭建成功。
参考：http://nickzp.blog.51cto.com/12728/1123735
标签：
原文地址：http://www.cnblogs.com/chybin/p/5685681.html
