码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop记录-退役

时间:2019-04-23 11:03:57      阅读:146      评论:0      收藏:0      [点我收藏+]

标签:space   min   func   one   include   转移   app   str   admin   

一、datanode添加新节点

1.在dfs.include文件中包含新节点名称,该文件在名称节点的本地目录下

[白名单] [/app/hadoop/etc/hadoop/dfs.include]

2.在hdfs-site.xml文件中添加属性

<property>
    <name>dfs.hosts</name>
    <value>/app/hadoop/etc/dfs.include.txt</value>
</property>

3.在nn上刷新节点

hdfs dfsadmin -refreshNodes

4.在slaves文件中添加新节点ip(主机名)

5.单独启动新节点中的datanode

   hadoop-daemon.sh start datanode

二、datanode退役旧节点

1.添加退役节点的ip到黑名单 dfs.hosts.exclude,不要更新白名单

   [/app/hadoop/etc/dfs.hosts.exclude]

2.配置hdfs-site.xml

<property>
  <name>dfs.hosts.exclude</name>
  <value>/app/hadoop/etc/dfs.hosts.exclude.txt</value>
</property>

3.刷新nn的节点

  hdfs dfsadmin -refreshNodes

4.查看WEBUI,节点状态在Decommission  In Progress

5.当所有的要退役的节点都报告为Decommissioned,数据转移工作已经完成

6.从白名单删除节点,并刷新节点

   hdfs dfsadmin -refreshNodes

   yarn rmadmin -refreshNodes

7.从slaves文件中删除退役的节点

8.hdfs-site.xml文件内容

<property>
   <name>dfs.hosts.exclude</name>
   <value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>
</property>
三、yarn添加新节点

1.在dfs.include文件中包含新节点名称,该文件在名称节点的本地目录下

     [白名单]

     [/app/hadoop/etc/hadoop/dfs.include]

2.在yarn-site.xml文件中添加属性

<property>
  <name>yarn.resourcemanager.nodes.include-path</name>
  <value>/soft/hadoop/etc/dfs.include.txt</value>
</property>

3.在rm上刷新节点

yarn rmadmin-refreshNodes

4.在slaves文件中添加新节点ip(主机名)

5.单独启动新节点中的资源管理器

   yarn-daemon.sh start nodemanager

六、yarn退役新节点

1.添加退役节点的ip到黑名单 dfs.hosts.exclude,不要更新白名单

   [/soft/hadoop/etc/dfs.hosts.exclude]

2.配置yarn-site.xml

   <property>

     <name>yarn-resourcemanager.nodes.exclude-path</name>

     <value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>

   </property>

3.刷新rm的节点

  yarn rmadmin -refreshNodes

4.查看WEBUI,节点状态在Decommission  In Progress

5.当所有的要退役的节点都报告为Decommissioned,数据转移工作已经完成

6.从白名单删除节点,并刷新节点

    yarn rmadmin -refreshNodes

7.从slaves文件中删除退役的节点

 

Hadoop记录-退役

标签:space   min   func   one   include   转移   app   str   admin   

原文地址:https://www.cnblogs.com/xinfang520/p/10755045.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!