3种形式的元数据，fsimage是在磁盘上，meta.data是在内存上， 我们继续，前面呢，断点是打在这一行代码处， FileSystem fs = FileSystem.get(conf); weekend110的hdfs下载数据源码跟踪铺垫 + hdfs下载数据源码分析-getFileSyst ...
分类：
其他好文 时间：
2016-09-22 10:07:49
阅读次数：
338
首先，要有这个观念，元数据信息（fsimage + editslog）。 fsimage是在磁盘 metadata是在内存 ********************fsimage把内存的，序列化到磁盘了。******************** 元数据信息（fsimage + editslog），内 ...
分类：
Web程序 时间：
2016-09-03 14:54:34
阅读次数：
270
不知道怎么回事，今天在启动集群时通过jps查看进程时始终有一个standby namenode进程无法启动。查看日志时报的是不能加载fsimage文件。日志截图如下： 日志报的很明显了是不能加载元数据信息，解决方案： 解决办法： 1、手动copy namenode（active）所在的那台服务器上X ...
分类：
Web程序 时间：
2016-08-28 16:31:48
阅读次数：
267
standby NN每隔一段时间(由参数dfs.ha.tail-edits.period决定,默认是60s)去检查Journal node上新的Edits log文件。 standby NN每隔一段时间(由参数dfs.namenode.checkpoint.check.period决定,默认是60s ...
分类：
其他好文 时间：
2016-08-17 13:45:24
阅读次数：
132
想说的是，fsimage 是在磁盘。metadata是在内存。 元数据metadata，内存保存一份，磁盘保存一份。 备份机制思想，就如同在学校图书馆中的书库。为了使得借书运转，要买多本书存库。 我client提货员，向仓库管理员namenode，请求提货，在他同意同时，会将这情况写到editlog ...
分类：
Web程序 时间：
2016-06-19 19:52:15
阅读次数：
254
SecondaryNameNode是用来合并fsimage和edits文件来更新NameNode和metadata的。 其工作流程为： 1.secondary通知namenode切换edits文件 2.secondary从namenode获得fsimage和edits（通过http） 3.secon ...
分类：
其他好文 时间：
2016-05-30 10:06:25
阅读次数：
125
1、HDFS中NameNode的启动过程： 步骤1：namenode启动时，首先将fsimage（镜像）载入内存，并执行editlog日志的各项操作 步骤2：内存中建立起元数据映射，则创建一个新的fsimage和空的editlog 步骤3：等待datanode注册与发送数据块信息 2、HDFS中Na ...
分类：
其他好文 时间：
2016-05-08 10:16:48
阅读次数：
185
NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（edits）。当一个NameNode启动时，它首先从一个映像文件（fsimage）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（fsimage）中，并使用一个空的 edits文件开始正 ...
分类：
其他好文 时间：
2016-05-04 01:23:23
阅读次数：
183
在《HDFS源码分析EditLog之获取编辑日志输入流》一文中，我们详细了解了如何获取编辑日志输入流EditLogInputStream。在我们得到编辑日志输入流后，是不是就该从输入流中获取数据来处理呢？答案是显而易见的！在《》一文中，我们在讲编辑日志追踪同步时，也讲到了如下两个连续的处理流程：
4、从编辑日志editLog中获取编辑日志输入流集合streams，获取的输入流为最新事务ID加1之后的数据
5、调用文件系统镜像FSImage实例image的loadEdits()...
分类：
其他好文 时间：
2016-04-12 17:24:02
阅读次数：
165
NameNode存储文件系统的变化作为log追加在本地的一个文件里：edits。当一个NameNode启动时，它从一个映像文件：FsImage，读取的HDFS的状态，然后使用来自edits日志文件的edits。然后它将写入新的HDFS状态到的FsImage和开始平常操作，此时edits是一个空文件。由于NameNode合并FsImage和edits只在启动时，edits日志文件会变得很大在一段时间内...
分类：
其他好文 时间：
2016-03-10 17:29:58
阅读次数：
197
