码迷,mamicode.com
首页 > 其他好文 > 详细

[Nutch]Hadoop动态删除DataNode节点和TaskTracker节点

时间:2016-06-12 02:25:15      阅读:213      评论:0      收藏:0      [点我收藏+]

标签:

之前的博文有说明动态添加一个结点,本次就说明如何动态删除一个结点。

上一篇博文有讲解如何限制一个结点的连接,要动态删除一个结点,可以在这个基础之上进行配置。

1. 在host1上配置dfs.hosts.exclude

在dfs.hosts.exclude指定的文件中添加host4:
技术分享

再执行如下命令:

hadoop   dfsadmin   -refreshNodes

然后用如下命令进行查看:

hadoop dfsadmin -report

如下:
技术分享
技术分享

2. web界面

从web管理界面可以看到,目前只有3个结点了,host4已经没有了:
技术分享

3. 从slaves文件中移除host4

技术分享

4. 从dfs.hosts中移除host4

技术分享

5. 在host3中配置mapred.hosts.exclude

在mapred.hosts.exclude指定的文件中添加host4:
技术分享

使用如下的命令进行刷新:

hadoop mradmin -refreshNodes

如下:
技术分享

6. 从slaves文件中移除host4

技术分享

7. 从mapred.hosts中移除host4

技术分享

8. 查看host4

在host4上我们仍然可以看到TaskTracker在运行:
技术分享

使用如下命令主动停止:

workspace/hadoop-1.2.1/bin/hadoop-daemon.sh stop tasktracker

如下:
技术分享

[Nutch]Hadoop动态删除DataNode节点和TaskTracker节点

标签:

原文地址:http://blog.csdn.net/kandy_ye/article/details/51622878

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!