码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop 2.4 遇到的问题

时间:2017-01-06 00:03:58      阅读:160      评论:0      收藏:0      [点我收藏+]

标签:data   点击   dfs   oop   输入   成功   hdfs   with   通过   

不管出什么问题,首先查看日志。

在启动过hadoop的前提下,打开浏览器,输入http://localhost:50070

点击Utilities下的logs,选择hadoop-root-datanode-master.log查看日志。

一、启动失败

日志提示:WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool ID needed, but service not yet registered with NN

问题描述:以前启动成功过,后面又通过hadoop namenode -format格式化启动,通过jps查看,短暂的开启,又自动关闭。

原因:datanode的clusterID 和 namenode的clusterID 不匹配。在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。

解决方案1:清空所有DataNode的data目录,但注意不要将data目录本身给删除了。data目录由core-site.xml文件中的属性“dfs.datanode.data.dir”指定。

    2:根据日志中的路径,dfs目录由core-site.xml文件中的属性“dfs.datanode.data.dir”指定的上一级目录,能看到dfs目录下有data和name两个文件夹,

      将name/current下的VERSION中的clusterID复制到data/current下的VERSION中,覆盖掉原来的clusterID

      让两个保持一致

 

hadoop 2.4 遇到的问题

标签:data   点击   dfs   oop   输入   成功   hdfs   with   通过   

原文地址:http://www.cnblogs.com/zhang-ke/p/6254286.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!