码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop单机存储均衡和坏block处理

时间:2015-03-30 11:25:07      阅读:129      评论:0      收藏:0      [点我收藏+]

标签:

1.Namenode岩机处理:重启集群无法恢复的情况下

    这时候解决的办法很简单,把namenode镜像存储的路径下内容删除掉,再把secondnamenode镜像存储的路径下内容拷贝过来,重启即可。
默认namenode镜像存储的路径是 /opt/hdfs/dfs/name  
默认secondnamenode镜像存储的路径 /opt/hdfs/dfs/namesecondary

2.坏Block解决方式
hadoop出现坏块后(如低版本的hadoop更换块大小的时候容易出现坏块),自身可以缓慢的修复,但是速度十分的缓慢。

发生坏块后Namenode日志:The reported blocks 211655 needs additional 4687 blocks to reach the threshold 0.9990 of total blocks 216559.
Safe mode will be turned off automatically
(日志的意思是需要增加4687 个块才能达到指定的阀值0.9990)
并且状态始终在safe  mode模式

可以使用hadoop fsck / -delete 删除坏块

删除坏块之后重启


3.单机存储均衡

hadoop自身有Blancer,可以进行存储均衡,但是这只是均衡总体的,并不能均衡单机不同磁盘的存储。比如说一台节点有两块硬盘分区,第一个利用率达到了90%,另一个利用率只达到5%,这时候总体的利用率可能不会很高,利用Blancer可能不会进行存储均衡,这时候就需要手工进行存储的迁移。

df -k  //查看磁盘的大小和利用率
注意:新添加一块磁盘后,加入hadoop存储集群的时候还需要对配置文件进行修改
hdfs-site.xml
<property>
    <name>dfs.data.dir</name>
    <value> /opt/hdfs/dfs/data, /opt2/hdfs</value>
</property>

首先先stop集群
cd  /opt/hdfs/dfs/data/current

mv ./* /opt2/hdfs/current/
//注意:在迁移的时候一定要和原来的目录结构保持一致,否则会出错。

df -k //再次查看
再start集群

hadoop单机存储均衡和坏block处理

标签:

原文地址:http://blog.csdn.net/skynumone/article/details/44747043

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!