下面我们来分析FSDirectory。其实分析FSDirectory最好的地方，应该是介绍完INode*以后，FSDirectory在INode*的基础上，保存了HDFS的文件目录状态。系统加载FSImage时，FSImage会在FSDirectory对象上重建文件目录状态，HDFS文件目录状态的变化，也由FSDirectory写日志，同时，它..
分类：
其他好文 时间：
2015-05-29 18:31:08
阅读次数：
222
下面我们来分析FSDirectory。其实分析FSDirectory 最好的地方，应该是介绍完INode*以后，FSDirectory 在INode*的基础
上，保存了HDFS 的文件目录状态。系统加载FSImage 时，FSImage 会在FSDirectory 对象上重建文件目录状态，HDFS 文件目录
状态的变化，也由FSDirectory 写日志，同时，它保存了文件名数据块的映射关系。...
分类：
其他好文 时间：
2015-05-29 18:15:11
阅读次数：
491
下面我们来分析FSDirectory。其实分析FSDirectory 最好的地方，应该是介绍完INode*以后，FSDirectory 在INode*的基础上，保存了HDFS 的文件目录状态。系统加载FSImage 时，FSImage 会在FSDirectory 对象上重建文件目录状态，HDFS 文...
分类：
其他好文 时间：
2015-05-29 17:47:45
阅读次数：
137
在Hadoop版本0.20.1, 0.21.0
存在一个bug，NameNode同步失败，current产生了一个edits.new，和fsimage同步时又出现异常，而SecondNameNode也产生了同样的目录结构和数据，并报如下异常：
Our secondary name node is not able to start on NullPointerExceptio...
分类：
其他好文 时间：
2015-04-29 02:01:31
阅读次数：
234
读取命名空间镜像和编辑日志数据1.读取命名空间镜像类FSImage是 命名空间镜像的java实现，在源码中，英文注释为，/** * FSImage handles checkpointing and logging of the namespace edits. * */FSImage.loadFS...
分类：
其他好文 时间：
2015-02-22 17:20:22
阅读次数：
247
1、DataNode为每个数据复制数据副本，保存在其它DataNode中。2、NameNode文件系统的元数据全保存在RAM中，DataNode初始化以及每隔1小时，向NameNode发送块报告，以便NameNode掌握各个DataNode的运行状态，并进行DataNode的映射。3、预写日志。通过在edits中顺序增加的方式减少I/O操作。4、fsimage:NameNode启动后，加载fsim...
分类：
其他好文 时间：
2014-12-04 18:03:55
阅读次数：
184
在hadoop中edits和fsimage是两个至关重要的文件，其中edits负责保存自最新检查点后命名空间的变化，起着日志的作用，而fsimage则保存了最新的检查点信息。这个两个文件中的内容使用普通文本编辑器是无法直接查看的，幸运的是hadoop为此准备了专门的工具用于查看文件的内容，这些工具分别为oev和oiv，可以使用hdfs调用执行。...
分类：
其他好文 时间：
2014-10-31 12:04:14
阅读次数：
339
1、概念：
fsimage保存了最新的元数据检查点。
edits保存自最新检查点后的命名空间的变化。
2、工作原理：
从最新检查点后，hadoop将对每个文件的操作都保存在edits中，为避免edits不断增大，secondary namenode就会周期性合并fsimage和edits成新的fsimage，edits再记录新的变化。
这种机制有个问题：因edits存放在Name...
分类：
其他好文 时间：
2014-10-15 23:23:11
阅读次数：
392
在Hadoop中fsimage保存最新的检查点信息，edits保存自最新检查点后的命名空间的变化。在分析hdfs namenode–format的源代码时，已经明确了该过程根据配置文件的信息创建fsimage和edits文件，这篇文章具体分析一下创建fsimage和edits文件的源代码。...
分类：
其他好文 时间：
2014-09-24 17:22:37
阅读次数：
210
Hadoop-2.4.1 namenode格式化的源代码分析...
分类：
其他好文 时间：
2014-09-16 17:27:51
阅读次数：
214
