码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop-ha配置

时间:2014-05-15 23:40:10      阅读:705      评论:0      收藏:0      [点我收藏+]

标签:hadoop   hadoop ha配置   yarn ha配置   

HADOOP HA配置

hadoop2.x的ha配置,此文档中描述有hdfs与yarn的ha配置。

此文档的假定条件是zk已经安装并配置完成,其实也没什么安装的。

hdfs ha配置

首先,先配置core-site.xml配置文件:

<property>

在老版本中使用mr1,还可能使用fs.default.name来进行配置

  <name>fs.defaultFS</name>

此处配置的mycluster目前还没有定义,我们需要记住这个值,

这个表示此namenodenameServiceId,hdfs-site中定义,此处进行引用

  <value>hdfs://mycluster</value>

</property>

接下来,配置当namenode发生切换时的检查方法,当NAMENODE切换时,

需要检查并确保只有一个active节点。

因此会通过SHELL或SSH的方式过去强制中止或执行检查

<property>
  <name>dfs.ha.fencing.methods</name>
此处的可配置值sshfence/shell
  <value>sshfence</value>
</property>
 
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>

配置ha连接的zk的连接地址,

<property>
  <name>ha.zookeeper.quorum</name>
  <value>one.cluster:2181,two.cluster:2181,three.cluster:2181</value>
</property>

还可以有如下几个配置:

ha.zookeeper.session-timeout.ms,zk的session超时时间,默认是5000ms

ha.zookeeper.parent-znode,hdfs的ha在zk上的存储路径 ,默认是/hadoop-ha

 

接下来对hdfs-site.xml进行配置

定义上面提到过的nameserviceid的值,

<property>
  <name>dfs.nameservices</name>
此处对当前配置的hanameserviceid进行定义,此处的mycluster中间不能使用"_"线
  <value>mycluster</value>
</property>

 

接下来定义nameserviceid中需要使用到的namenode的id,

<property>
  <name>dfs.ha.namenodes.mycluster</name>
此处定义了两个namenodeid,也就是需要配置两具namenode,id分别是nn1nn2
  <value>nn1,nn2</value>
</property>

在定义完成需要的namenode id后,

需要针对每一个namenode,定义其相关的rpc,http地址。

如果有启用https,还需要设置https-address

此处的配置通过nameserviceid.namenodeid来进行配置。

<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>one.cluster:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>two.cluster:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>one.cluster:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>two.cluster:50070</value>
</property>

 

 

 

 

接下来配置namenode edits的共享存储,在这里使用QJM来进行配置:

qjm是一个很轻量的进程,可以直接部署到namenode或datanode中。

qjm的默认rpc端口是8485,默认http端口是8480,

可通过配置dfs.journalnode.rpc-address,dfs.journalnode.http-address来修改端口。

qjm必须配置为单数个(N),可以保证在(N-1)/2个正常运行时,能够正常提供服务。

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://one.cluster:8485;two.cluster:8485;three.cluster:8485/mycluster</value>
</property>

配置QJM的存储路径 :

<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/data/1/dfs/jn</value>
</property>

设置针对此nameserviceid的客户端代理:

client请求时通过nameserviceid来做请求,

nameserviceid解析出对应的active namenode就通过此配置中的java类来完成。

<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

 

 

 

接下来配置namenode的自动故障转换。

<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>

 

把配置文件 复制到所有的节点中。这个不能忘呀。

在配置有QJM的节点中启动QJM.

进入hadooop_home/sbin目录

./hadoop-daemon.sh start journalnode

 

进入hadoop_home/bin目录下,执行./hdfs zkfc -formatZK在zk上进行格式化

对namenode进行format操作:

进入hadoop_home/bin目录,并执行如下命令

执行./hadoop namenode -format -clusteridhacluster命令。

./hdfs namenode-initializeSharedEdits

接下来启动主的namenode, 进入hadooop_home/sbin目录,执行如下命令

./hadoop-daemon.sh start namenode

赶往standby的namenode节点,

进入hadoop_home/bin目录,执行如下命令:

./hdfs namenode -bootstrapStandby

 

启动standby 的namenode,进入hadooop_home/sbin目录,执行如下命令

./hadoop-daemon.sh start namenode

接下来启动各个datanode节点。

./hadoop-daemon.sh start datanode

最后一步,启动zkfc,自动切换namenode节点的服务。

因为此时两个namenode都是standby的状态,需要启动zkfc来实现切换。

在主namenode与standby的namenode中进行hadoop_home/sbin目录。并执行如下命令

./hadoop-daemon.sh start zkfc

the end.

 

YARN RM的HA配置

配置yarn中resourcemanager的HA只有在hadoop2.3.x后才引进,

yarn的ha配置相对简单,直接配置yarn-site.xml文件

<property>
rm连接失败的重试间隔
    <name>yarn.resourcemanager.connect.retry-interval.ms</name>
    <value>2000</value>
  </property>
<property>
是否启用ha配置,默认是false.
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
<property>
启动自动故障转移,默认为false
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
<property>
启用一个内嵌的故障转移,与ZKRMStateStore一起使用。
    <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
    <value>true</value>
  </property>
<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>rm-cluster</value>
  </property>
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
<property>
配置当前的rm节点,这个地方要注意,在rm1这个机器上时,配置为rm1
rm2这台机器上时,需要配置为rm2.它们之间通过zk来实现active操作
    <name>yarn.resourcemanager.ha.id</name>
    <value>rm1</value>
  </property>
<property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
  </property>
<property>
HA时,RMStateStore需要配置为这个值。
    <name>yarn.resourcemanager.store.class</name>
 <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>
<property>
配置与zk的连接地址
    <name>yarn.resourcemanager.zk.state-store.address</name>
    <value>localhost:2181</value>
  </property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>localhost:2181</value>
</property>
<!-- RM1 configs -->
  <property>
    <name>yarn.resourcemanager.address.rm1</name>
    <value>host1:23140</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address.rm1</name>
    <value>host1:23130</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.https.address.rm1</name>
    <value>host1:23189</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>host1:23188</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
    <value>host1:23125</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address.rm1</name>
    <value>host1:23141</value>
  </property>
<!-- RM2 configs -->
  <property>
    <name>yarn.resourcemanager.address.rm2</name>
    <value>host2:23140</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address.rm2</name>
    <value>host2:23130</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.https.address.rm2</name>
    <value>host2:23189</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>host2:23188</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
    <value>host2:23125</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address.rm2</name>
    <value>host2:23141</value>
  </property>
 
 

启动yarn的各节点,

 

在主的resourcemanager与standby的resourcemanager中执行

yarn-daemon.sh start resourcemanager

在nodemanager中执行

yarn-daemon.sh start nodemanager

 

hadoop-ha配置,布布扣,bubuko.com

hadoop-ha配置

标签:hadoop   hadoop ha配置   yarn ha配置   

原文地址:http://blog.csdn.net/u014393917/article/details/25913363

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!