标签：
1.配置分布式hadoop
1.1 准备三台测试机（虚拟机就可以）
1.1.1 将life-hadoop虚拟机克隆2个分别为life-hadoop02和life-hadoop03
1.1.2 查看ip地址，并进行主机名映射为life-hadoop02.life.com和life-hadoop03.life.com
修改三台机器的/etc/hosts文件
在C:\windows\System32\drivers\etc\hosts文件添加以下内容
192.168.0.58 life-hadoop.life.com life-hadoop
192.168.0.187 life-hadoop02.life.com life-hadoop02
192.168.0.161 life-hadoop03.life.com life-hadoop03
1.1.3 修改网络连接
1.1.3.1 删除 /etc/udev/rules.d/70-persistent-net.rules文件中eth0的配置，将eth1修改为eth0，并复制eth1中的ATTR{address}所对应的值
1.1.3.2 编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件，将HWADDR的值赋值为刚才复制的ATTR{address}所对应的值
1.1.4 检查是否配置完毕
在各个虚拟机以及window系统中分别ping life-hadoop.life.com ping life-hadoop02.life.com ping life-hadoop03.life.com看是否相通，如果都有正常的返回，表示测试机准备就绪。
1.2 配置三台虚拟机的无密码登录（要在三台机器上分别执行以下代码）
1.2.1 生成密码公钥 [yanglin@life-hadoop .ssh]$ ssh-keygen -t rsa
1.2.2 将密码分发到其他机器上，分别运行
[yanglin@life-hadoop .ssh]$ ssh-copy-id life-hadoop.life.com
[yanglin@life-hadoop .ssh]$ ssh-copy-id life-hadoop02.life.com
[yanglin@life-hadoop .ssh]$ ssh-copy-id life-hadoop03.life.com
1.2.3 使用ssh命令登录查看是否配置成功
[yanglin@life-hadoop .ssh]$ ssh life-hadoop.life.com
[yanglin@life-hadoop .ssh]$ ssh life-hadoop02.life.com
[yanglin@life-hadoop .ssh]$ ssh life-hadoop03.life.com
1.3 基于伪分布式配置分布式hdfs集群
1.3.1 将伪分布式的配置文件复制到分布式下进行修改
[yanglin@life-hadoop03 hadoop-2.5.0]$ cp /opt/modules/hadoop-2.5.0/etc/hadoop/* etc/hadoop
1.3.2 配置namenode(两个namenode,一个是activity,一个standby)
在hdfs.xml文件中配置
<!--声明集群的名称-->
<property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>
<!--声明集群中各个节点的名称-->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>nn1,nn2</value>
</property>
<!--配置namenode节点所在的主机-->
<property>
<name>dfs.namenode.rpc-address.ns.nn1</name>
<value>life-hadoop.life.com:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns.nn2</name>
<value>life-hadoop02.life.com:8020</value>
</property>
<!--配置namenode节点web访问路径-->
<property>
<name>dfs.namenode.http-address.ns.nn1</name>
<value>life-hadoop.life.com:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.ns.nn2</name>
<value>life-hadoop02.life.com:50070</value>
</property>
<!--配置共享日志-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://life-hadoop.life.com:8485;life-hadoop02.life.com:8485;life-hadoop03.life.com:8485/ns</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<!--给目录要自己创建-->
<value>/opt/app/hadoop-2.5.0/journalnode/data</value>
</property>
<!--配置代理-->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--配置各个节点间的通信方式-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/yanglin/.ssh/id_rsa</value>
</property>
在core-site.xml中配置
<!--配置hdfs集群-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>
1.3.3 配置resourcemanger,修改yarn-site.xml文件
<!--配置resourcemanager所在的主机-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>life-hadoop03.life.com</value>
</property>
1.3.4 使用scp方式将hadoop文件分发到另外两台机器上
[yanglin@life-hadoop app]$ scp -r hadoop-2.5.0/ yanglin@life-hadoop02.life.com:/opt/app
[yanglin@life-hadoop app]$ scp -r hadoop-2.5.0/ yanglin@life-hadoop03.life.com:/opt/app
1.3.5 格式化namenode
1.3.5.1 在yanglin@life-hadoop.life.com主机上格式化namenode
[yanglin@life-hadoop hadoop-2.5.0]$ bin/hdfs namenode -format
1.3.5.2 在yanglin@life-hadoop.life.com主机上同步life-hadoop.life.com主机上namenode的信息
[yanglin@life-hadoop02 hadoop-2.5.0]$ bin/hdfs namenode -bootstrapStandby
1.3.6 启动hdfs
1.3.6.1 在一台机器上启动即可
[yanglin@life-hadoop hadoop-2.5.0]$ sbin/start-dfs.sh
分别在浏览器中查看http://life-hadoop.life.com:50070和http://life-hadoop02.life.com:50070
发现两个都是standby的，此时我们可使用命令指定某个为activity的
[yanglin@life-hadoop hadoop-2.5.0]$ bin/hdfs haadmin -transitionToActive nn1
此时在去浏览器中查看发现http://life-hadoop.life.com:50070为activity，而http://life-hadoop02.life.com:50070为standby，如果此时life-hadoop.life.com主机挂了，
可以使用[yanglin@life-hadoop hadoop-2.5.0]$ bin/hdfs haadmin -transitionToActive nn2 让nn2节点处于活动状态，改hdfs文件系统仍然可以正常使用，但这样必须进行手动 的切换，如果想要自动故障转换，需要使用zookeeper
1.4 配置zookeeper集群和自动故障转移
1.4.1 配置zookeeper集群
1.4.1.1 配置各个zookeeper节点所在的主机，修改/opt/app/zookeeper-3.4.5/conf/zoo.cfg文件
#配置zookeeper数据目录，需要自己提前创建
dataDir=/opt/app/zookeeper-3.4.5/data/zkData
#配置zookeeper集群各个节点所在的注解和端口
server.1=life-hadoop.life.com:2888:3888
server.2=life-hadoop02.life.com:2888:3888
server.3=life-hadoop03.life.com:2888:3888
1.4.1.2 在/opt/app/zookeeper-3.4.5/data/zkData目录下创建/opt/app/zookeeper-3.4.5/data/zkData/myid文件，并进行编辑1
1.4.1.3 使用scp方式分发到另外两台节点上,并修改myid文件为2,3
[yanglin@life-hadoop app]$ scp -r zookeeper-3.4.5/ yanglin@life-hadoop02.life.com:/opt/app/
[yanglin@life-hadoop app]$ scp -r zookeeper-3.4.5/ yanglin@life-hadoop03.life.com:/opt/app/
1.4.1.4 在各个节点上分别启动zookeeper
[yanglin@life-hadoop zookeeper-3.4.5]$ bin/zkServer.sh start
查看各个节点的zookeeper状态
1.4.2 配置hdfs故障自动转移
1.4.2.1 修改/opt/app/hadoop-2.5.0/etc/hadoop/hdfs-site.xml文件
<!--配置namenode自动故障转移-->
<property>
<name>dfs.ha.automatic-failover.enabled.ns</name>
<value>true</value>
</property>
1.4.2.2 修改/opt/app/hadoop-2.5.0/etc/hadoop/core-site.xml文件
<!--配置zookeeper集群所在的各个节点-->
<property>
<name>ha.zookeeper.quorum</name>
<value>life-hadoop.life.com:2181,life-hadoop02.life.com:2181,life-hadoop03.life.com:2181</value>
</property>
1.4.2.3 使用scp将这两个文件同步到其他两个节点上
[yanglin@life-hadoop hadoop-2.5.0]$ scp etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml yanglin@life-hadoop02.life.com:/opt/app/hadoop-2.5.0/etc/hadoop
[yanglin@life-hadoop hadoop-2.5.0]$ scp etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml yanglin@life-hadoop03.life.com:/opt/app/hadoop-2.5.0/etc/hadoop
1.4.2.4 格式化hdfs文件系统的zkfc
[yanglin@life-hadoop hadoop-2.5.0]$ bin/hdfs zkfc -formatZK
查看是否成功：
进入zookeeper客户端
[yanglin@life-hadoop zookeeper-3.4.5]$ bin/zkCli.sh
查看是否创建成功
[zk: localhost:2181(CONNECTED) 0] ls /
1.4.2.5 启动zookeeper故障自动转移控制器
[yanglin@life-hadoop hadoop-2.5.0]$ sbin/hadoop-daemon.sh start zkfc
1.4.2.6 重启hdfs，发一下已经有一个节点为activity,当该节点故障时，自动另一个节点冲standby转换为activity，整个hdfs系统仍能够正常运行。
标签：
原文地址：http://www.cnblogs.com/lifeone/p/5750547.html
