SecondaryNamenode

时间：2018-12-25 13:21:17 阅读：182 评论：0 收藏：0 [点我收藏+]

一、NameNode 基础

1、NameNode元数据（metadata）

2、NameNode两个重要文件

2、edits ：元数据操作日志（针对目录树的修改操作）

edits为二进制文件，记录对HDFS的各种更新操作，客户端执行所有的写操作都会被记录到editlog中。（比如创建文件，删除文件。打开、关闭、重命名文件和目录等）
新的操作日志不会立即与fsimage进行合并，而是会首先被记录在edits文件中。成功返回后才修改内存中的元数据（metadata），并向客户端返回，此时客户端才会看到最新信息。
当edits文件的大小达到一个临界值(默认是64MB)

　　　　<name>fs.checkpoint.size</name>

　　　　<name>fs.checkpoint.period</name>

　　Checkpoint会触发SecondaryNameNode进行工作。

二、SecondaryNamenode 存在的原因

三、Secondary NameNode

（一）日志与镜像的定期合并过程

请求NameNode进行edit log的滚动，namenode会创建一个新的edit log（edits.new），新的元数据操作日志将记录到新生成的edit log文件
通过http get方式将edits文件和fsimage复制到Secondary NameNode本地。
加载fsimage到内存，然后执行edits中所有操作，并生成一个新的fsimage文件（fsimage.ckpt）
通过http post方式，将fsimage.ckpt文件复制到NameNode；
NameNode将fsimage.ckpt文件重命名为fsimage并替换原来的fsimage文件，创建的edits.new将替代原来的edits文件，并且更新fsimage文件的检查点时间

（二）Secondary NameNode工作内容

每隔一段时间，secondary namenode将namenode上积累的edits（日志文件）和一个最新的fsimage下载到本地，并加载进内存进行合并，edits log文件往往很大。
它的主要作用是定期的将Namespace镜像与操作日志文件(edit log)合并，以防止操作日志文件(edit log)变得过大。
通常，SecondaryNamenode 运行在一个单独的物理机上，因为合并操作需要占用大量的CPU时间以及和相当的内存。（因为fsimage是namenode的完整的镜像，内容很大，合并edit logs与fsimage需要加载fsimage到内存的话生成树状拓扑结构，这是非常耗内存和CPU。）

学习阶段如有错误恳请指正！！！

原文地址：https://www.cnblogs.com/sgs-sunguishi/p/10173149.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

周排行