码迷,mamicode.com
首页 > 其他好文 > 详细

Hdfs手动执行Balance

时间:2020-05-15 00:40:42      阅读:149      评论:0      收藏:0      [点我收藏+]

标签:导致   区间   exclude   完成   include   指定   image   mic   node   

问题发现:

经巡检,服务器中一台节点的hadoop磁盘占用过多,是其它节点的三倍,导致数据严重不均衡。

技术图片

 技术图片

解决过程:

两种命令:

  • hadoop的bin目录下,运行命令start-balancer.sh -threshold 5
  • hdfs balancer -threshold 5

 两者的执行效果是一样的

参数详解:

-threshold  10                       集群平衡的条件,datanode间磁盘使用率相差阈值,区间选择:0~100, Threshold参数为集群是否处于均衡状态设置了一个目标

-policy datanode                   默认为datanode,datanode级别的平衡策略

-exclude  -f  /tmp/ip1.txt        默认为空,指定该部分ip不参与balance, -f:指定输入为文件

-include  -f  /tmp/ip2.txt         默认为空,只允许该部分ip参与balance,-f:指定输入为文件

-idleiterations  5                    迭代次数,默认为 5

 

 执行完成后,当前节点恢复正常,数据被分配到了其他节点:

技术图片

技术图片

       好久不写了,还是拿出一些之前的一些记录整理了一下,比较简单,以供参考!

Hdfs手动执行Balance

标签:导致   区间   exclude   完成   include   指定   image   mic   node   

原文地址:https://www.cnblogs.com/changsblogs/p/12892067.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!