码迷,mamicode.com
首页 > 其他好文 > 详细

关于hadoop多次format之后,会出现的dataNode消失问题

时间:2019-09-21 23:17:49      阅读:106      评论:0      收藏:0      [点我收藏+]

标签:hadoop   comm   解决   mon   nod   hdf   java   apache   ble   

  如标题,最近我由于想初始化以下hadoop集群,之后却发现启动集群后所有的DataNode都消失了。

问题查找:

  由于时所有的DataNode都出了问题,于是我翻找了以下DataNode的日志(默认在安装下的logs文件里):

2019-09-21 14:51:16,642 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/home/howie/hadoop/dfs/data/
java.io.IOException: Incompatible clusterIDs in /home/howie/hadoop/dfs/data: namenode clusterID = CID-952bba13-0ef1-4383-9985-38c30ecbd500; 
datanode clusterID = CID-5d8ae51b-e670-449c-90bb-f676aabe3fef

  看出来可能是因为namenode的clusterID与datanode的clusterID不一样而造成的错误,但我并没有看懂,上网查了一下,发现只需要将所有datanode的hdfs的data的目录下的current删除即可。

解决:

于是我决定尝试一下:

rm -rf /home/howie/hadoop/dfs/data/current
#在所有的DataNode下执行

  然后该出来的都出来了

技术图片

技术图片

技术图片

技术图片

关于hadoop多次format之后,会出现的dataNode消失问题

标签:hadoop   comm   解决   mon   nod   hdf   java   apache   ble   

原文地址:https://www.cnblogs.com/howielu/p/11565117.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!