码迷,mamicode.com
首页 > Web开发 > 详细

hadoop源代码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置

时间:2017-06-21 22:04:07      阅读:237      评论:0      收藏:0      [点我收藏+]

标签:分享   源代码   term   地方   browser   article   data   设置   保存   

点击browserFilesystem。和命令查看结果一样

技术分享

当我们查看hadoop源代码时,我们看到hdfs下的hdfs-default.xml文件信息

技术分享

我们查找${hadoop.tmp.dir}这是引用变量,肯定在其它文件有定义。在core-default.xml中查看到,这两个配置文件有个共同点:

就是不要改动此文件,但能够复制信息到core-site.xml和hdfs-site.xml中改动

技术分享

usr/local/hadoop 是我存放hadoop目录的地方

技术分享

几个关于namenode的关键文件

技术分享

这里的in_use.lock本身没什么东西。可是它标记着这个namenode被使用。不准其它进程调用

current下存放了重要信息,尤其是fsimage。是namenode核心信息

技术分享

edits用于事务处理

技术分享

HA措施之中的一个就是备份多个文件信息。能够用逗号隔开多个文件夹保存,注:不能在hdfs-default.xml中直接改动。而应该拷贝到hdfs-site下改动

技术分享

dfs下的data文件决定datanode存储位置

技术分享

HA措施之二:secondary用于辅助namenode,合并edits到fsimage。

从secondary恢复数据可能存在部分丢失(类似windows备份点)。但我觉得这里的信息可能储存到了硬盘,而namenode储存的信息可能还包含内存中的信息

技术分享

HA措施之三:replication。在配置文件里设置副本个数。存在不同datanode上

hadoop源代码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置

标签:分享   源代码   term   地方   browser   article   data   设置   保存   

原文地址:http://www.cnblogs.com/tlnshuju/p/7061788.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!